2023-12
VR交互实现高效虚拟制造：多用户VR导航平台迷你地图
分类： 人机交互, 计算机与社会
作者： Huizhong Cao, Henrik Söderlund, Mélanie Despeisse, Francisco Garcia Rivera, Björn Johansson
发布时间： 2023-12-29
链接： http://arxiv.org/abs/2312.17593v1
摘要： 过去十年，随着工业 4.0 及后续技术的兴起，VR 应用在制造业的价值和潜力受到了广泛关注。其在布局规划、虚拟设计审查和操作员培训方面的功效在之前的研究中已得到充分证实。然而，用于制造的 VR 的许多功能要求和交互参数的定义仍然不明确。等待探索的一个领域是空间识别和学习，这对于理解虚拟制造系统内的导航和处理空间数据至关重要。这在多用户 VR 应用中尤其重要，参与者在虚拟领域中的空间意识会显着影响会议和设计评审的效率。本文研究了多用户VR的交互参数，重点研究了用于虚拟工厂布局规划的交互式定位地图，并探索了数字地图作为导航辅助的用户交互设计。为了建立 VR 游戏行业常用的技术和交互式地图，我们进行了文献研究。不同交互式地图的多个演示器提供了全面的 A/B 测试，并使用 Unity 游戏引擎将其实施到 VR 多用户平台中。 20 名参与者和收集的 40 个经过验证的数据流对五种不同的交互式地图原型进行了测试、评估和评分。因此，本研究对交互式地图最有效的交互设计进行了分析和讨论。
VR 应用中联合视觉触觉感知的时空一致性
分类： 机器人技术
作者： Fuqiang Zhao, Kehan Zhang, Qian Liu, Zhuoyi Lyu
发布时间： 2023-12-27
链接： http://arxiv.org/abs/2312.16391v2
摘要： 随着VR技术的发展，特别是元宇宙概念的出现，视觉与触觉感知的融合已经成为人机交互中的一种预期体验。因此，在VR应用中实现视觉和触觉信息的时空一致性成为实现这种体验的必要因素。最先进的振动触觉数据集通常包含通过在物体表面随机滑动收集的时间级振动触觉信息，以及材料/纹理的相应图像。然而，它们缺乏与信号采集相对应的位置/空间信息，使得难以实现视觉-触觉数据的时空对齐。因此，我们在本文中开发了一种新的数据采集系统，可以收集不同纹理/材料的视觉和振动触觉信号，并具有空间和时间一致性。此外，我们利用新采集系统生成的数据集开发了一款名为“V-Touching”的基于 VR 的应用程序，该应用程序可以在虚拟物体表面滑动时提供像素到紫杉醇的联合视觉触觉感知。具有不同纹理/材料的独特振动触觉反馈的环境。
基于注意力的 VR 面部动画和视觉嘴部摄像头引导的沉浸式远程呈现化身
分类： 计算机视觉和模式识别, 机器人技术
作者： Andre Rochow, Max Schwarz, Sven Behnke
发布时间： 2023-12-15
链接： http://arxiv.org/abs/2312.09750v1
摘要： 虚拟现实环境中的面部动画对于需要用户面部清晰可视性和传达情感信号能力的应用至关重要。在我们的场景中，我们为控制机器人 Avatar 系统的操作员的脸部制作动画。当想要与特定个体（而不仅仅是机器人）交互时，面部动画的使用尤其有价值。纯关键点驱动的动画方法难以应对面部动作的复杂性。我们提出了一种混合方法，该方法同时使用关键点和口腔摄像机的直接视觉引导。我们的方法适用于看不见的操作员，并且只需要快速注册步骤并捕获两个短视频。选择多个源图像是为了覆盖不同的面部表情。给定 HMD 的嘴部摄像头框架，我们动态构建目标关键点并应用注意力机制来确定每个源图像的重要性。为了解决关键点歧义并动画更广泛的嘴部表情，我们建议将视觉嘴部摄像头信息注入到潜在空间中。我们通过模拟嘴部摄像头输入的视角差异和面部变形来实现对大规模说话头部数据集的训练。我们的方法在质量、能力和时间一致性方面优于基线。此外，我们还重点介绍了面部动画如何帮助我们在 ANA Avatar XPRIZE 决赛中获胜。
VR用于针灸？探索虚拟现实中针灸培训和治疗的需求和机会
分类： 人机交互, K.3.m; J.3; I.3.8; D.2.10
作者： Menghe Zhang, Chen Chen, Matin Yarmand, Nadir Weibel
发布时间： 2023-12-12
链接： http://arxiv.org/abs/2312.07772v1
摘要： 针灸是一种医学形式，涉及将针插入身体的目标部位，需要传统中医 (TCM) 和循证医学 (EBM) 的知识。由于需要深入了解人体解剖学以及应用中医和循证医学方法的能力，获取这些知识并将其用于实际治疗的过程具有挑战性。视觉教具的引入是为了帮助理解针灸穴位与人体关键要素的对齐方式，对于学习者和针灸专家来说都是不可或缺的工具。然而，它们往往不足以实现有效的实践，也无法充分支持学习过程。基于沉浸式可视化和虚拟现实 (VR) 的新方法因其在真实感和交互方面的独特优势而在许多医疗保健环境中显示出前景，但目前尚不清楚 VR 是否以及如何有益于针灸训练和治疗。遵循参与式设计方案，例如对八名医生和九名学生的观察和半结构化访谈，我们探讨了中国和美国当前循证医学和中医交叉点的针灸工作流程的需求和痛点。我们重点介绍了在当今的针灸培训和治疗工作流程中引入 VR 的机会，并讨论了基于教育、诊断、治疗和沟通等 11 个具体挑战的两种设计方法。
VR 游戏中的面部情绪识别
分类： 人机交互, 计算机视觉和模式识别, 机器学习
作者： Fatemeh Dehghani, Loutfouz Zaman
发布时间： 2023-12-12
链接： http://arxiv.org/abs/2312.06925v1
摘要： 情绪检测是游戏用户研究 (GUR) 的重要组成部分，因为它使游戏开发人员能够深入了解玩家的情绪体验并相应地定制游戏。然而，检测虚拟现实 (VR) 游戏中的情绪具有挑战性，因为头戴式显示器 (HMD) 覆盖了玩家脸部的顶部，即眼睛和眉毛，为识别印象提供了关键信息。为了解决这个问题，我们使用卷积神经网络 (CNN) 来训练模型来预测覆盖眼睛和眉毛的全脸图像中的情绪。我们使用了 FER2013 数据集，我们对其进行了修改以覆盖图像中的眼睛和眉毛。这些图像中的模型可以准确识别七种不同的情绪，即愤怒、快乐、厌恶、恐惧、公正、悲伤和惊讶。我们通过在两款 VR 游戏上进行测试并使用它来检测玩家的情绪来评估该模型的性能。我们在游戏结束后收集了玩家自我报告的情绪数据。我们分析了从实验中收集的数据，以了解玩家在游戏过程中经历的情绪。我们发现我们的方法有潜力通过检测 VR 游戏中玩家的情绪来增强游戏玩法分析，从而帮助游戏开发者创造更具吸引力和身临其境的游戏体验。
通过基于 3D 形状的交互进行参数化数据修改的 VR-CAD 框架
分类： 图形, 人机交互
作者： Yujiro Okuya, Nicolas Ladeveze, Cédric Fleury, Patrick Bourdot
发布时间： 2023-12-07
链接： http://arxiv.org/abs/2402.09406v1
摘要： 在这张海报中，我们展示了一个新的 VR-CAD 框架，允许用户在沉浸式环境中通过 3D 交互修改参数化 CAD 数据。借助该框架，用户可以通过基于共定位 3D 形状的交互来隐式修改 CAD 数据的参数值。这张海报描述了系统架构和基于它的交互技术。
自动驾驶过程中驾驶员的干预行为分析——VR结合方法
分类： 人机交互, 人工智能
作者： Zheng Xu
发布时间： 2023-12-04
链接： http://arxiv.org/abs/2312.01669v1
摘要： 鉴于智能交通系统技术的快速进步，未来的移动性将指向车辆自动驾驶。但距离完全自动化还有很长的路要走，还需要人工干预。这项工作有助于理解人类驾驶员在自动驾驶车辆（AV）操作中的干预行为，并利用这些知识来改善对关键驾驶场景的感知。搭建了虚拟现实（VR）与交通微观模拟相结合的实验环境，在典型、多样化的交通场景下进行了测试。定义干预概率、事故率等绩效指标，并用于量化和比较风险水平。通过提供对驾驶员干预行为的新颖见解，这项工作将有助于提高类似场景下自动控制的性能。此外，这种用于自动驾驶研究的集成式沉浸式工具对于人机信任的研究将具有重要价值。据作者所知，这项工作是致力于此类工具的先驱工作之一。