2024-02
免提虚拟现实
分类： 人机交互, 人工智能, 计算和语言
作者： Jorge Askur Vazquez Fernandez, Jae Joong Lee, Santiago Andrés Serrano Vacca, Alejandra Magana, Bedrich Benes, Voicu Popescu
发布时间： 2024-02-23
链接： http://arxiv.org/abs/2402.15083v1
摘要： 该论文介绍了 Hands-Free VR，一种基于语音的 VR 自然语言界面。用户使用语音发出命令，使用语音到文本深度学习模型将语音音频数据转换为文本，该模型针对单词语音相似性和英语口音的鲁棒性进行了微调，并且文本被映射到使用对自然语言多样性具有鲁棒性的大型语言模型的可执行 VR 命令。免提 VR 在一项受控受试者内研究 (N = 22) 中进行了评估，该研究要求参与者找到特定物体并将其放置在各种配置中。在控制条件下，参与者使用传统的 VR 用户界面，使用手持控制器抓取、携带和定位物体。在实验条件下，参与者使用免提 VR。结果证实：(1) 免提 VR 对于英语口音具有鲁棒性，因为对于我们的 20 名参与者来说，英语不是他们的母语，而且对于单词语音相似性，正确转录语音命令的正确率为 96.71%； (2) Hands-Free VR 对自然语言多样性具有鲁棒性，能够在 97.83% 的时间内将转录命令正确映射为可执行命令； （3）Hands-Free VR在任务完成时间、总视点平移、总视角方向旋转、总左右手平移等方面较传统VR界面具有显着的效率优势； (4) 免提VR在易用性、直观性、人体工程学、可靠性和可取性方面获得了较高的用户偏好评价。
人们如何提示创建交互式 VR 场景
分类： 人机交互
作者： Setareh Aghel Manesh, Tianyi Zhang, Yuki Onishi, Kotaro Hara, Scott Bateman, Jiannan Li, Anthony Tang
发布时间： 2024-02-16
链接： http://arxiv.org/abs/2402.10525v2
摘要： 生成式人工智能工具可以为人们提供利用自然语言提示创建虚拟环境和场景的能力。然而，人们如何提出这样的提示尚不清楚——特别是当他们居住在他们正在设计的环境中时。例如，一个人可能会指着一个位置说“放一把椅子在这里”。如果这些语言特征对于人们的提示来说是常见的，我们就需要调整模型以适应它们。在这项工作中，我们提出了一项有 22 名参与者参与的“绿野仙踪”启发研究，我们研究了人们在口头提示此类编程代理创建交互式 VR 场景时的隐含期望。我们的研究结果表明，人们会提出几个隐含的期望：（1）代理人对环境有具体的了解； (2) 代理理解用户的具体提示； （3）智能体可以回忆起场景和对话的先前状态，并且（4）智能体对场景中的物体有常识性的理解。此外，我们发现参与者在原地（即在 VR 环境内）和异地（即从外部观看 VR 环境）进行提示时的提示有所不同。为了探索如何应用我们的技术，我们设计并构建了 Oastaad，这是一种对话式编程代理，允许非程序员设计他们所居住的交互式 VR 体验。基于这些探索，我们概述了创建 VR 环境的对话式编程代理的新机遇和挑战。
用于移动边缘计算系统中定制 VR 服务的基于联合提示的决策转换器
分类： 人工智能, 系统与控制, 系统与控制
作者： Tailin Zhou, Jiadong Yu, Jun Zhang, Danny H. K. Tsang
发布时间： 2024-02-15
链接： http://arxiv.org/abs/2402.09729v1
摘要： 本文研究了移动边缘计算（MEC）系统中的资源分配，以便为异构用户提供定制的虚拟现实（VR）服务。我们首先引入体验质量（QoE）指标来衡量用户体验，该指标考虑了 MEC 系统的延迟、用户注意力水平和首选分辨率。然后，制定 QoE 最大化问题来进行资源分配，以确保尽可能高的用户体验，这被视为强化学习问题，旨在学习适用于所有 MEC 服务器的跨不同用户环境的通用策略。为了学习广义策略，我们提出了一个框架，该框架采用联邦学习（FL）和基于提示的序列建模来预训练跨 MEC 服务器的通用决策模型，该模型名为 FedPromptDT。使用FL解决了本地MEC数据不足的问题，同时保护了离线训练时用户的隐私。结合用户环境提示和用户偏好分配的提示设计提高了模型在线执行时对各种用户环境的适应性。
基于 XR 的运动引导系统中视觉前馈和校正反馈的设计空间
分类： 人机交互
作者： Xingyao Yu, Benjamin Lee, Michael Sedlmair
发布时间： 2024-02-14
链接： http://arxiv.org/abs/2402.09182v2
摘要： 扩展现实 (XR) 技术非常适合帮助个人学习运动技能和动作——称为运动指导。在动作指导中，“前馈”提供要执行的动作的指导提示，而“反馈”提供帮助纠正错误和最小化错误的提示。设计协同前馈和反馈对于提供有效的学习体验至关重要，但两者之间的相互作用尚未得到充分探索。基于对文献的调查，我们提出了 XR 中运动前馈和校正反馈的设计空间，并描述了它们之间的交互作用。我们确定了文献语料库中基于 XR 的运动引导的常见设计方法，并通过我们的设计维度进行讨论。然后，我们讨论影响此设计的其他背景因素和考虑因素，以及 XR 运动引导的未来研究机会。