2024-07

HeadsetOff：在经济型 VR 耳机上实现逼真的视频会议

分类： 多媒体

作者： Yili Jin, Xize Duan, Fangxin Wang, Xue Liu

发布时间： 2024-07-29

链接： http://arxiv.org/abs/2407.19988v1

摘要： 虚拟现实 (VR) 耳机在远程协作中越来越受欢迎，但当用户的脸部被耳机遮住时，视频会议就会带来挑战。现有的解决方案在可访问性方面存在局限性。在本文中，我们提出了 HeadsetOff，这是一种新颖的系统，通过利用语音驱动的面部重建，在经济型 VR 耳机上实现逼真的视频会议。 HeadsetOff 由三个主要组件组成：基于多模态注意力的预测器、生成器和自适应控制器。预测器根据不同的模式有效地预测用户未来的行为。该发生器利用语音输入、头部运动和眨眼来制作人脸动画。自适应控制器根据视频质量和延迟之间的权衡动态选择合适的生成器模型，旨在最大限度地提高体验质量，同时最大限度地减少延迟。实验结果证明了 HeadsetOff 在经济型 VR 耳机上实现高质量、低延迟视频会议的有效性。

持续时间和延迟对 VR 运动可识别性的影响

分类： 密码学和安全, 人机交互

作者： Mark Roman Miller, Vivek Nair, Eugy Han, Cyan DeVeaux, Christian Rack, Rui Wang, Brandon Huang, Marc Erich Latoschik, James F. O'Brien, Jeremy N. Bailenson

发布时间： 2024-07-25

链接： http://arxiv.org/abs/2407.18380v1

摘要： 社交虚拟现实是一种新兴的交流媒介。在这种媒体中，用户的化身（虚拟代表）由用户的耳机和手持控制器的跟踪运动控制。这种跟踪的运动是丰富的数据流，可以泄漏用户的特征，或者可以有效地与先前识别的数据匹配以识别用户。为了更好地理解运动数据可识别性的边界，我们研究了不同的训练数据持续时间和训练测试延迟如何影响机器学习模型在模拟重新识别的监督学习任务中正确分类用户运动的准确性。我们使用的数据集具有大量参与者、每次会话持续时间长、会话数量大以及会话进行时间跨度长的独特组合。我们发现训练数据持续时间和训练测试延迟会影响可识别性；最小的列车测试延迟可以带来非常高的准确度；并且在未来的实验中应该控制列车测试延迟。

系统回顾和分析虚拟现实 (VR) 在建筑工作和教育中的可行性

分类： 计算机与社会, 计算工程、金融和科学, 新兴技术, 人机交互

作者： Zia Ud Din, Payam Mohammadi, Rachael Sherman

发布时间： 2024-07-23

链接： http://arxiv.org/abs/2408.01450v1

摘要： 本系统综述探讨了虚拟现实 (VR) 技术在建筑行业提高学习成果和运营效率的可行性。本研究评估了当前 VR 在建筑教育和实践中的整合情况。该综述采用系统评价的首选报告项目和荟萃分析指南，分析了来自 Web of Science、ERIC 和 Scopus 等数据库的 36 篇同行评审期刊文章。该方法侧重于识别、评估和综合所有相关研究，以评估 VR 应用在建筑相关领域的有效性。这篇评论强调，VR 通过提供身临其境的交互式模拟来显着增强学习能力，从而提高对每个复杂施工过程（例如结构元素或隧道掘进机操作）的理解。本综述系统地汇编和评估了在建筑中使用 VR 的证据，但综合分析有限。它提供了 VR 如何彻底改变教育和工作的实例。

VR 耳机编解码器头像的通用面部编码

分类： 计算机视觉和模式识别, 机器学习

作者： Shaojie Bai, Te-Li Wang, Chenghui Li, Akshay Venkatesh, Tomas Simon, Chen Cao, Gabriel Schwartz, Ryan Wrench, Jason Saragih, Yaser Sheikh, Shih-En Wei

发布时间： 2024-07-17

链接： http://arxiv.org/abs/2407.13038v1

摘要： 忠实的实时面部动画对于虚拟现实 (VR) 中以化身为媒介的远程呈现至关重要。为了模拟真实的交流，头像动画需要高效且准确：能够在几毫秒内捕捉极端和微妙的表情，以维持自然对话的节奏。面部的倾斜和不完整视图、耳机佩戴的可变性以及环境引起的照明变化是对看不见的面部进行泛化的一些独特挑战。在本文中，我们提出了一种方法，可以通过消费类 VR 耳机上的头戴式摄像头 (HMC) 实时制作逼真的头像动画。我们提出了一种基于跨视图重建目标的自我监督学习方法，可以对未见过的用户进行泛化。我们提出了一种轻量级的表达校准机制，可以以最小的运行时效率额外成本来提高准确性。我们提出了一种改进的参数化方法，用于精确的地面实况生成，为环境变化提供鲁棒性。由此产生的系统可以为佩戴 VR 耳机的看不见的用户实时生成准确的面部动画。我们将我们的方法与之前的面部编码方法进行比较，证明定量指标和定性结果都有显着改进。

用于协作 XR 模拟的解耦边缘物理算法

分类： 人机交互, 图形

作者： George Kokiadis, Antonis Protopsaltis, Michalis Morfiadakis, Nick Lydatakis, George Papagiannakis

发布时间： 2024-07-17

链接： http://arxiv.org/abs/2407.12486v1

摘要： 这项工作提出了一种新颖的方法来改造任何现代游戏引擎管道，以优化扩展现实（XR）环境中的性能并增强用户体验。将物理引擎与游戏引擎管道分离并使用客户端-服务器 N-1 架构创建了一个可扩展的解决方案，通过边缘云基础设施上的单个物理引擎有效地为头戴式显示器 (HMD) 上的多个图形客户端提供服务。这种方法可确保多人游戏场景中更好的同步，而不会在单人游戏体验中引入开销，从而在用户参与发生变化的情况下保持会话连续性。将物理引擎重新定位到边缘或云节点可以减轻本地硬件的压力，将更多资源用于高质量渲染并释放不受束缚的 HMD 的全部潜力。我们提出了四种解耦物理引擎的算法，提高 VR 模拟中的帧速率和体验质量 (QoE)，支持高级交互、大量物理对象以及超过 100 个并发用户的多用户会话。结合几何代数插值器可减少解剖部分之间的相互调用，从而保持 QoE 并缓解网络压力。通过超过 100 个并发用户、10,000 个物理对象和软体模拟进行的实验验证证实了所提出的架构的技术可行性，展示了在不影响性能的情况下实现更具沉浸感和协作性的 XR 应用程序的变革能力。

Magic XRoom：用于控制情绪激发和识别的灵活 VR 平台

分类： 人机交互

作者： S. M. Hossein Mousavi, Matteo Besenzoni, Davide Andreoletti, Achille Peternier, Silvia Giordano

发布时间： 2024-07-12

链接： http://arxiv.org/abs/2407.09110v1

摘要： 情感计算最近受到欢迎，特别是在人机交互系统领域，有效唤起和检测情感对于增强用户体验至关重要。然而，有几个问题阻碍了该领域的进展。事实上，情绪的复杂性使得理解它们的触发因素和控制它们的引发变得困难。此外，有效的情绪识别需要分析多个传感器数据，例如面部表情和生理信号。这些因素结合起来使得收集可用于研究目的（例如，情感识别算法的开发）的高质量数据集变得困难。尽管存在这些挑战，虚拟现实 (VR) 还是有望成为一种解决方案。通过提供受控的沉浸式环境，VR 能够复制现实世界的情感体验，并有助于跟踪指示情感状态的信号。然而，控制情绪引发在虚拟现实中仍然是一项具有挑战性的任务。本研究论文介绍了 Magic Xroom，这是一个 VR 平台，旨在利用心流理论增强对情绪引发的控制。该理论在个人技能水平、任务难度和感知情绪之间建立了映射。在Magic Xroom中，不断评估用户的技能水平，并相应调整任务难度以唤起特定的情绪。此外，使用传感器收集用户信号，并利用虚拟面板来确定地面真实情绪状态，使 Magic Xroom 成为收集广泛数据集的理想平台。本文提供了详细的实现信息，重点介绍了 Magic Xroom 的主要特性，并提供了虚拟场景示例来说明其能力和功能。

V-Lab VR教育应用框架

分类： 人机交互

作者： Vasilis Zafeiropoulos, George Anastassakis, Theophanis Orphanoudakis, Dimitris Kalles, Anastasios Fanariotis, Vassilis Fotopoulos

发布时间： 2024-07-10

链接： http://arxiv.org/abs/2407.07698v1

摘要： 本文介绍了 V-Lab，这是一个用于教育场景的 VR 应用程序开发框架，主要涉及在化学和生物实验室等实验室环境中执行的科学过程。这项工作是 Onlabs 模拟器的扩展，该模拟器由希腊开放大学开发，作为类似科目的远程教学推动者，有助于减轻对物理实验室基础设施的需求；因此，缩短了学生在实验室的培训时间，并使他们在实际存在期间的培训更加高效和安全。 Onlabs 的扩展是在欧洲项目 XR2Learn（利用欧洲 XR 行业技术支持沉浸式学习和培训）的背景下进行的工作，以提供可扩展到多种教育场景的增强型模块化框架。

关于 VR/AR 应用对光传输网络的影响：Meta Quest 3 游戏和会议应用的首次实验

分类： 网络和互联网架构

作者： C. de Quinto, A. Navarro, G. Otero, N. Koneva, J. A. Hernández, M. Quagliotti, A. Sánchez-Macian, F. Arpanaei, P. Reviriego, Ó. González de Dios, J. M. Rivas-Moscoso, E. Riccardi, D. Larrabeiti

发布时间： 2024-07-10

链接： http://arxiv.org/abs/2407.07686v1

摘要： 随着下一代 AR/VR 耳机的出现（其中许多价格实惠），电信运营商预测其网络流量将出现爆炸性增长。 AR/VR 服务和应用的渗透率预计将在未来几年呈指数级增长。这项工作试图通过 Meta Quest 3 耳机上的四种不同的真实实验设置来阐明流行 AR/VR 应用程序的带宽容量要求和延迟，以及它们对网络的潜在影响。

SilverCycling：在 VR 中探索自行车运动对老年人空间定向的影响

分类： 人机交互

作者： Qiongyan Chen, Zhiqing Wu, Yucheng Liu, Lei Han, Zisu Li, Ge Lin Kan, Mingming Fan

发布时间： 2024-07-09

链接： http://arxiv.org/abs/2407.06846v1

摘要： 空间定向对于人们在日常生活中有效地导航和与环境互动至关重要。随着年龄相关的认知能力下降，为老年人提供具有更好空间定向性能的 VR 运动技术变得非常重要。这些进步不仅使老年人更容易接触 VR，而且使他们能够获得 VR 技术的潜在健康益处。基于自然运动的运动已被证明可以有效提高年轻用户在需要空间定向的 VR 导航任务中的表现。然而，人们对 VR 中基于自然运动的运动对老年人空间定向的影响缺乏了解。为了解决这一差距，我们选择了 SilverCycling 系统，这是我们开发的一种基于 VR 自行车的运动技术，作为基于自然运动的运动的代表，并以我们的试点研究结果为指导。我们对 16 名老年人进行了一项用户研究，将 SilverCycling 与基于操纵杆的控制器进行比较。研究结果表明，SilverCycling 有潜力显着增强老年人在开放道路城市环境中的空间定位，提供更好的用户体验。根据我们的研究结果，我们确定了影响空间方向的关键因素，并提出了设计建议，以使 VR 运动对于老年人来说更容易理解且用户友好。

小规模用户移动性对高定向 XR 通信的影响

分类： 网络和互联网架构, 信号处理

作者： Asad Ali, Olga Galinina, Jiri Hosek, Sergey Andreev

发布时间： 2024-07-08

链接： http://arxiv.org/abs/2407.06392v1

摘要： 下一代通信系统的开发有望实现扩展现实 (XR) 应用，例如具有超现实内容和人类级感官反馈的 XR 游戏。这些要求苛刻的应用对底层无线通信基础设施提出了严格的性能要求。为了满足 XR 应用的预期体验质量 (QoE)，需要高容量连接，这可以通过使用毫米波 (mmWave) 频段并采用高度定向的波束来实现。然而，这些窄波束很容易受到小规模用户移动性引起的微小错位的影响，例如 XR 头戴式设备 (HMD) 方向的变化或用户身体位置的微小变化。本文探讨了小规模用户移动性对 XR 毫米波连接的影响，并回顾了解决小规模移动性带来的挑战的方法。为了加深我们对 XR 使用期间小规模移动性的理解，我们准备了 XR 游戏期间用户移动性的数据集。我们使用该数据集来研究用户移动性对高度定向通信的影响，识别显着影响窄波束无线通信系统性能的用户移动性的特定方面。我们的结果证实了小规模移动性对光束失准的重大影响，强调需要增强机制来有效管理小规模移动性的后果。

XR Streaming 的 MLO 性能评估：Wi-Fi 7 能否达到预期？

分类： 网络和互联网架构, 信息论, 信息论

作者： Marc Carrascosa-Zamacois, Lorenzo Galati-Giordano, Francesc Wilhelmi, Gianluca Fontanesi, Anders Jonsson, Giovanni Geraci, Boris Bellalta

发布时间： 2024-07-08

链接： http://arxiv.org/abs/2407.05802v1

摘要： 扩展现实 (XR) 具有严格的吞吐量和延迟要求，当前的无线技术难以满足。缺少这些要求可能会导致图像质量恶化、用户输入和相应输出之间的感知滞后，甚至最终用户感到头晕。在本文中，我们研究了即将推出的 Wi-Fi 7 的功能及其对多链路操作 (MLO) 的新颖支持，以满足这些严格的要求。我们的研究基于从符合 MLO 的模拟器中提取的模拟结果，该模拟器可以真实地再现 VR 流量。结果表明，MLO 可以支持 VR 应用。通过联合使用具有独立信道接入过程的多个链路，MLO 可以减少总体延迟，这在上行链路中尤其有用，因为它比下行链路有更严格的要求，并且有助于提供预期性能。我们表明，与使用 SLO 的同等数量的链路相比，使用 MLO 可以在每个网络上允许更多的用户。我们还表明，在保持相同的总体带宽的同时，具有窄通道的较多 MLO 链路比具有较宽通道的较少数量链路导致更低的延迟。

JaywalkerVR：用于收集安全关键的行人与车辆交互的 VR 系统

分类： 机器人技术

作者： Kenta Mukoya, Erica Weng, Rohan Choudhury, Kris Kitani

发布时间： 2024-07-05

链接： http://arxiv.org/abs/2407.04843v1

摘要： 开发能够安全地与行人交互的自动驾驶车辆需要大量的行人和车辆数据，以便学习准确的人车交互模型。然而，收集包括关键但罕见场景（例如行人乱穿马路进入拥挤交通）的数据可能成本高昂且收集起来不安全。我们提出了一种虚拟现实人机交互模拟器 JaywalkerVR，来获取车辆与行人交互数据来应对这些挑战。我们的系统能够高效、经济且安全地收集长尾行人车辆交互数据。使用我们提出的模拟器，我们创建了一个高质量的数据集，其中包含来自安全关键场景的车辆与行人交互数据，称为 CARLA-VR。 CARLA-VR 数据集解决了现实世界中常用的自动驾驶数据集中缺乏长尾数据样本的问题。我们证明，使用 CARLA-VR 训练的模型将位移误差和碰撞率分别提高了 10.7% 和 4.9%，并且在罕见的车辆-行人场景中更加稳健。

教育沉浸式和扩展现实 (XR) 体验的评论者：谁在创建这些评论以及为什么？

分类： 信息检索, 计算机与社会

作者： Sophie McKenzie, Shaun Bangay, Maria Nicholas, Adam Cardilini, Majeet Singh

发布时间： 2024-07-04

链接： http://arxiv.org/abs/2407.03650v1

摘要： 本文对文献进行了范围审查，以了解谁正在审查教育沉浸式或扩展现实 - eduXR 体验以及原因。增强、虚拟或混合现实中的 EduXR 体验有多种形式，从支持手动培训、让学习者参与保护，到提供社交联系的机会。对于 eduXR 的用户来说，对体验的评论可以提供信息，帮助他们确定该体验是否满足他们的学习需求。评论的来源，即他们是谁以及他们为什么进行评论，对于帮助用户判断评论的质量和相关性至关重要。目前，eduXR 还没有固定的审核系统，尽管存在用于严肃游戏审核的相关框架，与某些（但不是全部）eduXR 体验相关且重叠。虽然一些作者已经着手为 eduXR 准备详细的审稿结构，但 eduXR 用户仍然需要一种清晰、简单的方法来了解审稿人的详细信息，例如审稿人是谁以及为什么，以帮助用户更容易地识别相关审稿人。评论并获得有关 eduXR 体验的有用见解。为了帮助解决这个问题，我们进行了范围界定审查，提出了这个问题；谁在创建 eduXR 评论，为什么？我们确定了 16 篇论文，这些论文对 eduXR 评论的审查过程进行了学术评估。使用主题分析对 16 篇论文进行了分析，编码了两个独立周期的主题和原因。一项分析旨在检查我们对谁提供评论的了解以及原因，以帮助我们了解 eduXR 社区如何就他们所参与的 eduXR 体验做出明智的选择，哪些因素会促进、抑制以及尚不清楚的因素。

用于增强扩展现实 (XR) 数据速率的中继辅助载波聚合 (RACA) 上行链路系统

分类： 信号处理

作者： Chi-Wei Chen, Wen-Chiao Tsai, Lung-Sheng Tsai, An-Yeu, Wu

发布时间： 2024-07-02

链接： http://arxiv.org/abs/2407.01912v1

摘要： 在扩展现实 (XR) 应用中，高数据速率和低延迟对于沉浸式体验至关重要。由于轻型 XR 设备的天线和功率有限，XR 中的上行链路传输具有挑战性。为了提高数据传输速率，我们研究了中继辅助载波聚合（RACA）系统。 XR 设备分别通过低频和高频频段同时向附近的接入点 (AP) 和中继传输数据。然后，中继将信号下变频并放大到 AP，有效地充当 XR 设备的附加发射天线。在本文中，我们提出了两种算法来最大化 XR 设备在各自协议中的数据速率。在集中式协议中，速率最大化问题等价地转化为加权均方误差最小化（WMMSE）问题，可以通过替代优化迭代求解。在分布式协议中，速率最大化问题被分解为两个独立的子问题，其中直接链路的速率和中继链路的速率通过基于奇异值分解（SVD）和注水（WF）的方法最大化。仿真结果表明，RACA系统的速率比传统的载波聚合方案提高了$32%$。