2022-02

多模式驾驶员参考：指向车辆内部和外部物体的比较

分类： 人机交互, 计算机视觉和模式识别

作者： Abdul Rafey Aftab, Michael von der Beeck

发布时间： 2022-02-15

链接： http://arxiv.org/abs/2202.07360v1

摘要： 先进的车内传感技术，特别是基于视觉的方法，极大地进步了车内的用户交互，为自然用户交互的新应用铺平了道路。正如人类使用多种模式相互交流一样，我们遵循一种方法，其特点是同时使用多种模式来实现特定任务的自然人机交互：指向或扫视车辆内部和外部的物体指示参考。通过跟踪眼睛注视、头部和手指的运动，我们设计了一种使用深度神经网络的多模态融合架构，以精确识别驾驶员的参考意图。此外，我们使用语音命令作为触发器来分隔每个引用事件。我们观察到两种指向用例（即针对内部和外部物体）中驾驶员行为的差异，特别是在分析眼睛、头部和手指三种模式的精确度时。我们的结论是，没有一种单一模式对于所有情况都是最佳的，因为每种模式都存在一定的局限性。多种模态的融合利用了每种模态的相关特征，从而克服了每种单独模态的依赖于案例的局限性。最终，我们提出了一种根据预测的指向方向来识别驾驶员的参考对象是位于车辆内部还是外部的方法。

BROOK 数据集：在人车交互设计中利用数据驱动技术的游乐场

分类： 人机交互

作者： Wangkai Jin, Yicun Duan, Junyu Liu, Shuchang Huang, Zeyu Xiong, Xiangjun Peng

发布时间： 2022-02-14

链接： http://arxiv.org/abs/2202.06494v1

摘要： 新兴的自动驾驶汽车 (AV) 蕴藏着利用数据驱动技术实现自适应和个性化人车交互的巨大潜力。然而，缺乏高质量和丰富的数据支持，限制了探索数据驱动技术的设计空间和验证具体机制有效性的机会。我们的目标是开始努力，为探索数据驱动的人车交互设计提供构建模块。为此，我们提出了 BROOK 数据集，这是一个包含面部视频记录的多模态数据集。我们首先简要介绍构建 BROOK 数据集的基本原理。然后，我们通过长达一年的研究详细阐述了如何构建当前版本的 BROOK 数据集，并对数据集进行了概述。接下来，我们提出三个使用 BROOK 的示例研究来证明 BROOK 数据集的适用性。我们还确定了构建 BROOK 数据集的关键学习经验，并讨论了 BROOK 数据集如何促进大量后续研究。

基于视觉垂直估计的晕动病建模及其在自主个人移动车辆中的应用

分类： 人机交互, 计算机视觉和模式识别

作者： Hailong Liu, Shota Inoue, Takahiro Wada

发布时间： 2022-02-13

链接： http://arxiv.org/abs/2202.06299v4

摘要： 3-5级自动个人移动车辆（APMV）和汽车的乘客（驾驶员）可以在驾驶时执行非驾驶任务，例如读书和智能手机。有人指出，此类活动可能会加重晕动病。已经进行了许多研究来建立对策，其中已经开发了各种计算晕动病模型。其中许多都是基于主观垂直冲突（SVC）理论，该理论描述了人类感觉器官感知的方向与中枢神经系统预期的方向的垂直变化。此类模型有望应用于自动驾驶场景。然而，当前的计算模型无法将视觉垂直信息与前庭感觉整合起来。我们提出了一种 6 DoF SVC-VV 模型，它将视觉感知的垂直块添加到传统的六自由度 SVC 模型中，以根据模拟人类视觉输入的图像数据来预测 VV 方向。因此，提出了一种简单的基于图像的VV估计方法。作为对所提出模型的验证，本文重点描述了当乘客在使用 AMPV 时看书时晕动病增加的事实，假设视觉垂直 (VV) 起着重要作用。静态实验表明，该方法估计的VV能够准确地描述重力加速度方向，且平均绝对偏差较低。此外，使用APMV的驾驶实验结果表明，所提出的6 DoF SVC-VV模型可以描述当VV和重力加速度方向不同时所经历的晕动病增加。