2024-05
在仿真中评估现实世界的机器人操纵策略
分类： 机器人技术, 计算机视觉和模式识别, 机器学习
作者： Xuanlin Li, Kyle Hsu, Jiayuan Gu, Karl Pertsch, Oier Mees, Homer Rich Walke, Chuyuan Fu, Ishikaa Lunawat, Isabel Sieh, Sean Kirmani, Sergey Levine, Jiajun Wu, Chelsea Finn, Hao Su, Quan Vuong, Ted Xiao
发布时间： 2024-05-09
链接： http://arxiv.org/abs/2405.05941v1
摘要： 机器人领域在通用机器人操纵政策方面取得了重大进展。然而，对此类政策的现实评估不具有可扩展性，并且面临可重复性的挑战，随着政策扩大其可以执行的任务范围，这种情况可能会变得更糟。我们将真实环境和模拟环境之间的控制和视觉差异视为可靠模拟评估的关键挑战，并提出了缩小这些差距的方法，而无需制作现实环境的全保真数字孪生。然后，我们采用这些方法来创建 SIMPLER，这是一组模拟环境，用于对常见的真实机器人设置进行操纵策略评估。通过对操纵政策进行模拟与真实的配对评估，我们证明了更简单的环境中的政策绩效与现实世界中的政策绩效之间的强相关性。此外，我们发现更简单的评估准确地反映了现实世界的政策行为模式，例如对各种分配变化的敏感性。我们在 https://simpler-env.github.io 上开源了所有 SIMPLER 环境以及创建新环境的工作流程，以促进对通用操作策略和模拟评估框架的研究。
机器人可以感觉：基于大语言模型的机器人道德推理框架
分类： 机器人技术
作者： Artem Lykov, Miguel Altamirano Cabrera, Koffivi Fidèle Gbagbe, Dzmitry Tsetserukou
发布时间： 2024-05-09
链接： http://arxiv.org/abs/2405.05824v1
摘要： 本文介绍了一种新颖的机器人伦理推理框架的开发。 “机器人可以感觉”是第一个机器人系统，它利用逻辑和类人情感模拟相结合，在类似于人类的道德复杂情况下做出决策。该方法的关键特征是情绪权重系数的管理——一个可定制的参数，用于分配情绪在机器人决策中的作用。该系统旨在作为一种工具，为任何形式和用途的机器人配备接近人类标准的道德行为。除了平台之外，系统与基础模型的选择无关。在评估过程中，系统在 8 个最新的 LLM（大型语言模型）上进行了测试。该列表包括各个公司和国家开发的商业和开源模型。研究表明，无论模型选择如何，情绪权重系数都会类似地影响机器人的决策。根据方差分析，不同情绪权重系数的使用会影响一系列情况下的最终决定，例如在饮食违规请求中 F(4, 35) = 11.2, p = 0.0001 以及在动物同情情况下 F (4, 35) = 8.5441，p = 0.0001。演示代码存储库位于：https://github.com/TemaLykov/robots_can_feel
具有学习性手眼信息融合的半自主腹腔镜机器人对接
分类： 机器人技术
作者： Huanyu Tian, Martin Huber, Christopher E. Mower, Zhe Han, Changsheng Li, Xingguang Duan, Christos Bergeles
发布时间： 2024-05-09
链接： http://arxiv.org/abs/2405.05817v1
摘要： 在本研究中，我们介绍了一种用于锁孔对接操作的新型共享控制系统，该系统将商用相机与遮挡鲁棒姿态估计和手眼信息融合技术相结合。该系统用于提高对接精度和力合规安全性。为了训练手眼信息融合网络模型，我们使用该对接系统生成了一个自监督数据集。经过训练，我们的姿态估计方法与传统方法（包括仅观察方法、手眼校准和传统状态估计滤波器）相比显示出更高的准确性。在现实世界的模型实验中，我们的方法证明了其有效性，与控制组。半自主协同操作场景中的这些进步增强了交互性和稳定性。该研究提出了一种抗干扰、稳定、精确的解决方案，其潜在应用范围从腹腔镜手术扩展到其他微创手术。
用于肝脏后续诊断的自主机器人超声系统：试点模型研究
分类： 机器人技术, 计算机视觉和模式识别, 系统与控制, 系统与控制
作者： Tianpeng Zhang, Sekeun Kim, Jerome Charton, Haitong Ma, Kyungsang Kim, Na Li, Quanzheng Li
发布时间： 2024-05-09
链接： http://arxiv.org/abs/2405.05787v1
摘要： 该论文介绍了一种新型自主机器人超声（US）系统，旨在为当地社区的门诊患者进行肝脏后续扫描。给定具有特定感兴趣目标区域的计算机断层扫描（CT）图像，所提出的系统分三个步骤进行自主后续扫描：（i）机器人与表面的初始接触，（ii）CT图像和机器人之间的坐标映射， (iii) 目标超声扫描。利用3D US-CT配准和基于深度学习的分割网络，我们可以实现3D肝静脉的精确成像，从而促进CT和机器人之间的精确坐标映射。这使得能够在 CT 图像内自动定位后续目标，从而使机器人能够精确导航到目标表面。对超声模型的评估证实了 US-CT 配准的质量，并表明机器人在重复试验中可靠地定位目标。拟议的框架有可能显着减少医疗保健提供者、临床医生和随访患者的时间和成本，从而解决当地社区与慢性病相关的日益增加的医疗负担。
自主机器人神经辐射场基准测试：概述
分类： 机器人技术
作者： Yuhang Ming, Xingrui Yang, Weihan Wang, Zheng Chen, Jinglun Feng, Yifan Xing, Guofeng Zhang
发布时间： 2024-05-09
链接： http://arxiv.org/abs/2405.05526v1
摘要： 神经辐射场 (NeRF) 已成为 3D 场景表示的强大范例，可根据一组稀疏且非结构化的传感器数据提供高保真渲染和重建。在自主机器人技术中，对环境的感知和理解至关重要，NeRF 在提高性能方面拥有巨大的希望。在本文中，我们对利用 NeRF 增强自主机器人能力的最先进技术进行了全面的调查和分析。我们特别关注自主机器人的感知、定位和导航以及决策模块，深入研究对自主操作至关重要的任务，包括3D重建、分割、位姿估计、同步定位和建图（SLAM）、导航和规划以及相互作用。我们的调查仔细地对现有的基于 NeRF 的方法进行了基准测试，深入了解它们的优点和局限性。此外，我们还探索该领域未来研究和开发的有前景的途径。值得注意的是，我们讨论了 3D 高斯分布 (3DGS)、大语言模型 (LLM) 和生成人工智能等先进技术的集成，设想增强的重建效率、场景理解和决策能力。这项调查为寻求利用 NeRF 增强自主机器人能力的研究人员提供了路线图，为能够在复杂环境中无缝导航和交互的创新解决方案铺平了道路。
BSL：基于ROS导航栈和盲点层的移动机器人考虑盲点的导航方法
分类： 机器人技术
作者： Masato Kobayashi, Naoki Motoi
发布时间： 2024-05-09
链接： http://arxiv.org/abs/2405.05479v1
摘要： 本文针对轮式移动机器人提出了一种基于机器人操作系统（ROS）导航堆栈和盲点层（BSL）的考虑盲点的导航方法。在本文中，使用激光测距仪（LRF）和 RGB-D 相机来识别环境信息。当环境中存在拐角或障碍物时，就会出现盲点，如果人或物体从这些盲点向机器人移动，可能会导致碰撞。为了防止此类碰撞，本文提出了一种基于 BSL 局部成本地图层的考虑盲点的轮式移动机器人导航方法。利用 RGB-D 相机收集的环境数据来估计盲点。考虑到这些盲点的导航方法是通过实施 BSL 和采用动态窗口方法的增强成本函数的局部路径规划方法来实现的。通过仿真和实验进一步证明了该方法的有效性。
SuFIA：机器人手术助手的语言引导增强灵活性
分类： 机器人技术
作者： Masoud Moghani, Lars Doorenbos, William Chung-Ho Panitch, Sean Huver, Mahdi Azizian, Ken Goldberg, Animesh Garg
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.05226v1
摘要： 在这项工作中，我们提出了 SuFIA，这是第一个用于机器人手术助手的自然语言引导增强灵活性的框架。 SuFIA将大语言模型（LLM）的强大推理能力与感知模块相结合，以实现机器人手术子任务执行的高层规划和底层控制。这使得无需学习的方法即可实现手术增强灵活性，无需任何上下文示例或运动基元。 SuFIA 采用人机交互模式，在信息不足的情况下恢复外科医生的控制，从而减少关键任务的意外错误。我们在模拟环境中的四个手术子任务和实验室物理手术机器人平台上的两个子任务上评估了 SuFIA，证明了其在具有挑战性的物理和工作空间条件下通过监督自主操作执行常见手术子任务的能力。项目网站：orbit-surgical.github.io/sufia
MOTLEE：使用时间一致性进行相邻机器人框架对齐的协作多对象跟踪
分类： 机器人技术
作者： Mason B. Peterson, Parker C. Lusk, Antonio Avila, Jonathan P. How
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.05210v1
摘要： 了解附近移动物体的位置对于移动机器人在动态环境中安全运行非常重要。如果机器人与附近的团队成员实时共享对跟踪对象的观察结果，则可以提高动态对象跟踪性能。为了共享观察结果，机器人必须对从其坐标系到每个邻居的坐标系的变换进行最新估计，由于里程计漂移，这可能具有挑战性。我们提出了具有定位误差消除功能的多对象跟踪（MOTLEE），这是一个完整的系统，可供多机器人团队准确估计帧变换并协作跟踪动态对象。为了实现这一目标，机器人使用开放集图像分割方法来构建其环境的对象地图，然后使用我们的时间一致帧对齐过滤器（TCAFF）来对齐地图并估计坐标系变换，而无需对相邻机器人姿势有任何初步了解。我们展示了我们的对齐框架方法使四个机器人团队能够协作跟踪六个行人，其准确度类似于在具有挑战性的硬件演示中具有地面实况定位的系统。代码和硬件数据集可在 https://github.com/mit-acl/motlee 获取。
具有高力和高速能力的吊顶机器人双电机执行器
分类： 机器人技术, 系统与控制, 系统与控制
作者： Ian Lalonde, Jeff Denis, Mathieu Lamy, Alexandre Girard
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.05162v1
摘要： 患者转移设备允许在医院和护理中心被动移动患者。在某些情况下，帮助患者移动，使他们能够自行移动，而不是举起患者，会是有益的。然而，患者援助需要能够以比单独用于患者转移的设备更高的速度精确控制输出力的设备，并且单个电机解决方案尺寸过大，并且执行这两种功能的效率很低。本文提出了一种适用于患者移动设备的双电机执行器和控制方案，可用于转移患者、协助患者移动并帮助防止跌倒。该原型能够举起重达 318 公斤的患者，以高达 100 公斤的所需力协助患者，精度为 7.8%。此外，管理跌倒的智能控制方案被证明能够通过施加所需的减速来阻止跌倒的患者。
满足临时需求的任务专用 Whegged 机器人的快速协同设计
分类： 机器人技术
作者： Varun Madabushi, Katie M. Popek, Craig Knuth, Galen Mullins, Brian A. Bittner
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.05096v1
摘要： 在这项工作中，我们研究了如何使用协同设计方法来迭代现场的机器人设计，执行时间敏感的临时任务。我们的方法优化了 MiniRHex 机器人的形态和 wheg 轨迹，生成 3D 打印结构和腿部轨迹参数。在四种地形中进行测试，我们表明，在模拟中优化的机器人表现出强大的模拟到真实的转换，并且在硬件测试时效率几乎是标称平台的两倍。
MoveTouch：带有可穿戴触觉显示器的机器人动作捕捉系统，可实现安全的 HRI
分类： 机器人技术, 14J60 (Primary) 14F05, 14J26 (Secondary)
作者： Ali Alabbas, Miguel Altamirano Cabrera, Mohamed Sayed, Oussama Alyounes, Qian Liu, Dzmitry Tsetserukou
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.04899v1
摘要： 随着生产线的简化、模块化和灵活性的提高，协作机器人市场正在蓬勃发展。但当人类和机器人在共享环境中协作时，人类的安全应该是优先考虑的事情。我们推出了一种新颖的可穿戴机器人系统，以增强人机交互（HRI）过程中的安全性。所提出的可穿戴机器人旨在持有基准标记并保持其对跟踪系统的可见性，从而以良好的精度和低延迟定位用户的手，并在用户的手腕上提供触觉反馈。触觉反馈引导用户在协作任务期间的手部运动，以提高安全性并提高协作效率。进行了一项用户研究，以评估应用于用户手腕掌侧和背侧部分的十种设计触觉模式的识别和辨别能力。结果，选择了四种具有高识别率的模式并入我们的系统中。第二个实验是为了评估系统与现实世界协作任务的集成。
GISR：单视图机器人姿态和配置估计的几何初始化和基于轮廓的细化
分类： 机器人技术, 人工智能, 计算机视觉和模式识别
作者： Ivan Bilić, Filip Marić, Fabio Bonsignorio, Ivan Petrović
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.04890v1
摘要： 对于自主机器人应用来说，至关重要的是机器人能够准确测量其潜在状态并感知其环境，包括其中的其他代理（例如与人类交互的协作机器人）。这些测量的冗余很重要，因为它允许在传感器故障或外部干扰的情况下规划和执行恢复协议。当没有基于编码器的传感可用时，视觉估计可以通过使用低成本传感器和服务器作为独立的本体感觉源来提供这种冗余。因此，我们结合机器人的位姿来估计机器人的配置，这提供了对所观察机器人的完整空间理解。我们提出了 GISR——一种优先考虑实时执行的深度配置和机器人到相机姿态估计的方法。 GISR 由两个模块组成：(i) 几何初始化模块，有效计算近似机器人位姿和配置；(ii) 基于迭代轮廓的细化模块，只需几次迭代即可细化初始解决方案。我们在公开可用的数据集上评估我们的方法，并表明 GISR 的性能与现有最先进的方法相比具有竞争力，同时与同类的现有方法相比速度明显更快。我们的代码可在 https://github.com/iwhitey/GISR-robot 获取。
守护力量：机器人与环境交互的安全关键合规控制
分类： 机器人技术
作者： Xinming Wang, Jun Yang, Jianliang Mao, Jinzhuo Liang, Shihua Li, Yunda Yan
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.04859v1
摘要： 在本研究中，我们提出了一种安全关键的合规控制策略，旨在在机器人与未知环境的物理交互过程中严格执行交互力约束。通过利用广义接触模型和机器人运动学的环境先验信息（即先验刚度和静止位置），将相互作用力约束解释为新的力约束控制障碍函数（FC-CBF）。通过构造跟踪微分器来近似真实环境与广义接触模型之间的差异，并基于Lyapunov理论量化其估计误差。通过将严格的交互安全规范解释为动态约束，限制运动学中所需的关节角速率，所提出的方法使用二次规划修改名义顺应控制器，确保在未知环境中遵守交互力约束。严格分析了闭环系统的严格力约束和稳定性。使用UR3e工业机器人在不同环境下进行的实验测试验证了该方法在未知环境下实现力约束的有效性。
使用视觉和触觉传感器对低刚性塑料制成的人形物体进行自适应全身机器人工具使用学习
分类： 机器人技术
作者： Kento Kawaharazuka, Kei Okada, Masayuki Inaba
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.04826v1
摘要： 迄今为止已开发出各种机器人；然而，我们在对某些机器人的低刚性机构进行建模时面临挑战。特别是，在工具使用过程中，由于抓取物体，身体的偏转会发生变化，导致工具尖端位置和身体重心发生显着变化。此外，这种偏转根据工具的重量和长度而变化，使得这些模型异常复杂。然而，目前还没有一种控制或学习方法可以考虑所有这些影响。在本研究中，我们提出了一种构建神经网络的方法，该神经网络描述了脚部的关节角度、视觉信息和触觉信息之间的相互关系。我们的目标是使用实际的机器人数据来训练该网络，并将其用于工具提示控制。此外，我们利用参数偏差来捕获由于工具的重量和长度的变化而引起的这种相互关系的变化，使我们能够从当前的传感器信息中了解所抓取的工具的特性。我们将这种方法应用于低刚性塑料人形机器人 KXR 的全身工具使用中，以验证其有效性。
从大语言模型到行动：潜在代码作为分层机器人控制中的桥梁
分类： 机器人技术, 人工智能
作者： Yide Shentu, Philipp Wu, Aravind Rajeswaran, Pieter Abbeel
发布时间： 2024-05-08
链接： http://arxiv.org/abs/2405.04798v1
摘要： 机器人的分层控制长期以来一直受到需要有一个明确定义的接口层来在高级任务规划器和低级策略之间进行通信的困扰。随着大语言模型的出现，语言已经成为一个有前景的界面层。然而，这有几个限制。并非所有任务都可以分解为易于用自然语言表达的步骤（例如表演舞蹈）。此外，由于域转移和灾难性遗忘，它使得对具体数据的端到端微调变得具有挑战性。我们引入我们的方法——可学习潜在代码作为桥梁（LCB）——作为克服这些限制的替代架构。 \method使用可学习的潜在代码作为大语言模型和低级策略之间的桥梁。这使得大语言模型能够灵活地传达任务计划中的目标，而不会完全受到语言限制的限制。此外，它还可以实现端到端微调，而不会破坏预训练期间学习的单词标记的嵌入空间。通过对 Language Table 和 Calvin（两种基于通用语言的实体代理基准）的实验，我们发现\method优于基线（包括那些使用 GPT-4V 的基线），这些基线利用纯语言作为需要推理和多任务的接口层。步骤行为。
$\textbf{Splat-MOVER}$：通过可编辑高斯泼溅进行多阶段、开放词汇机器人操作
分类： 机器人技术, 计算机视觉和模式识别
作者： Ola Shorinwa, Johnathan Tucker, Aliyah Smith, Aiden Swann, Timothy Chen, Roya Firoozi, Monroe Kennedy III, Mac Schwager
发布时间： 2024-05-07
链接： http://arxiv.org/abs/2405.04378v1
摘要： 我们推出了 Splat-MOVER，这是一个用于开放词汇机器人操作的模块化机器人堆栈，它利用高斯泼溅 (GSplat) 场景表示的可编辑性来实现多阶段操作任务。 Splat-MOVER 包括： (i) $\textit{ASK-Splat}$，一种 GSplat 表示形式，可提取语言语义的潜在代码并将可供性掌握到 3D 场景中。 ASK-Splat 能够实现对 3D 场景的几何、语义和可供性理解，这对于许多机器人任务至关重要； (ii) $\textit{SEE-Splat}$，一个实时场景编辑模块，使用 3D 语义屏蔽和填充来可视化现实世界中机器人交互所产生的对象运动。 SEE-Splat 在整个操作任务中创建不断变化的环境的“数字双胞胎”； (iii) $\textit{Grasp-Splat}$，一个抓取生成模块，它使用 ASK-Splat 和 SEE-Splat 为开放世界对象提出候选抓取。 ASK-Splat 在操作前的短暂扫描阶段根据 RGB 图像进行实时训练，而 SEE-Splat 和 Grasp-Splat 在操作期间实时运行。我们在 Kinova 机器人上的硬件实验中展示了 Splat-MOVER 的优越性能，与四个单阶段、开放词汇操作任务以及使用编辑场景反映场景的四个多阶段操作任务中的两个最近基线相比由于先前的操作阶段而发生的变化，这是现有基线不可能实现的。该项目的代码和项目页面的链接将很快提供。
用于步行辅助全向外型机器人 (WANDER) 的个性化控制器
分类： 机器人技术
作者： A. Fortuna, M. Lorenzini, M. Leonori, JM. Gandarias, P. Balatti, Y. Cho, E. De Momi, A. Ajoudani
发布时间： 2024-05-07
链接： http://arxiv.org/abs/2405.04359v1
摘要： 保持和鼓励老年人和患有慢性病的成年人的活动能力至关重要。然而，现有的助行器要么不足以为使用者的稳定性提供足够的支撑，要么体积太大且操作性差而无法在医院环境外使用。此外，它们都缺乏对个人要求的适应性。为了应对这些挑战，本文介绍了 WANDER，一种新型步行辅助全向外型机器人。它由一个全向平台和安装在其顶部的坚固铝结构组成，可提供部分体重支撑。嵌入力/扭矩传感器的舒适且限制最小的耦合接口可以检测用户的意图，并通过可变导纳控制器将其转换为命令速度。基于用户偏好的优化技术，即基于偏好的优化（PBO）指导导纳参数（即虚拟质量和阻尼）的选择，以更好地适应受试者特定的需求和特性。对 12 名健康受试者进行的实验表明，使用具有 PBO 参数的 WANDER 时，能耗和冲击力显着降低，并且用户性能和舒适度得到改善。优化参数的巨大人际差异凸显了使用辅助设备行走时个性化控制设置的重要性，旨在提高用户的舒适度和活动性，同时确保可靠的身体支撑。
用于工业机器人应用的具有神经辐射场的新颖视图合成
分类： 计算机视觉和模式识别, 人工智能, 机器人技术
作者： Markus Hillemann, Robert Langendörfer, Max Heiken, Max Mehltretter, Andreas Schenk, Martin Weinmann, Stefan Hinz, Christian Heipke, Markus Ulrich
发布时间： 2024-05-07
链接： http://arxiv.org/abs/2405.04345v1
摘要： 神经辐射场 (NeRF) 已成为一个快速发展的研究领域，有可能彻底改变典型的摄影测量工作流程，例如用于 3D 场景重建的工作流程。作为输入，NeRF 需要具有相应相机姿势以及内部方向的多视图图像。在典型的 NeRF 工作流程中，相机姿态和内部方向是通过运动结构 (SfM) 提前估计的。但所得到的新颖视图的质量很难预测，这取决于不同的参数，例如可用图像的数量和分布，以及相关相机姿势和内部方向的准确性。此外，SfM是一个耗时的预处理步骤，其质量很大程度上取决于图像内容。此外，SfM 未定义的比例因子阻碍了需要度量信息的后续步骤。在本文中，我们评估了 NeRF 在工业机器人应用中的潜力。我们提出了 SfM 预处理的替代方案：我们使用连接到工业机器人末端执行器的校准相机捕获输入图像，并根据机器人运动学确定具有公制比例的准确相机位姿。然后，我们通过将新观点与真实观点进行比较，并基于集成方法计算内部质量度量来研究新观点的质量。出于评估目的，我们获取了多个数据集，这些数据集对典型工业应用的重建提出了挑战，例如反光物体、不良纹理和精细结构。我们表明，基于机器人的姿态确定在要求不高的情况下达到了与 SfM 相似的精度，同时在更具挑战性的场景中具有明显的优势。最后，我们提出了在没有基本事实的情况下应用集成方法来估计合成小说视图质量的初步结果。
探索机器人收集的数据用于训练手势分类系统的潜力
分类： 机器人技术, 人工智能
作者： Alejandro Garcia-Sosa, Jose J. Quintana-Hernandez, Miguel A. Ferrer Ballester, Cristina Carmona-Duarte
发布时间： 2024-05-07
链接： http://arxiv.org/abs/2405.04241v1
摘要： 传感器和人工智能 (AI) 彻底改变了人类运动的分析，但特定样本的稀缺给训练智能系统带来了重大挑战，特别是在诊断神经退行性疾病的背景下。本研究调查了利用机器人收集的数据来训练传统上使用人类收集的数据训练的分类系统的可行性。作为概念证明，我们使用 ABB 机械臂和 Apple Watch 记录了数字字符数据库。我们使用人类记录和机器人记录的数据来比较经过训练的系统的分类性能。我们的主要目标是确定使用机器人运动作为训练数据准确识别佩戴智能手表的人类数字字符的潜力。这项研究的结果为使用机器人收集的数据训练分类系统的可行性提供了宝贵的见解。这项研究对需要可靠识别的各个领域具有广泛的影响，特别是在访问人类特定数据受到限制的情况下。
SVan：作为现场机器人开发和部署平台的移动中心
分类： 机器人技术
作者： Alexander Moortgat-Pick, Anna Adamczyk, Daniel A Duecker, Sami Haddadin
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03890v1
摘要： 随着机器人技术对环境保护变得越来越重要，越来越需要与机器人创新步伐相匹配的有效部署方法。目前的策略往往存在不足，导致机器人技术的潜力与其在该领域的实际应用之间存在差距。为了应对这一挑战，我们引入了移动中心概念，旨在为有效部署多样化、多领域的机器人团队提供必要的基础设施和支持。本文介绍了“SVAN”（同步团队机器人货车）的开发和见解，“SVAN”是我们的移动中心概念的原型。我们深入研究 SVAN 的机械结构和软件设置，全面概述其功能和设计注意事项。此外，我们还讨论了硬件规格并分享了原型开发和部署过程中获得的宝贵经验教训。除了本文之外，一段被接受的视频通过描述 SVAN 作为环境卫士的设想角色来补充我们的探索，强调其在生态监测和保护方面的潜力。此外，通过引用之前接受的一篇论文，我们的讨论得到了丰富，该论文详细介绍了由 SVAN 等移动中心支持的连续无人机任务循环的新颖方法。这些随附的工作强调了我们对解决机器人部署策略中现有差距的贡献，提出了一个可扩展且高效的框架来克服环境机器人的操作挑战。
信息驱动的可供性发现，实现高效的机器人操作
分类： 机器人技术, 人工智能
作者： Pietro Mazzaglia, Taco Cohen, Daniel Dijkman
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03865v1
摘要： 机器人功能可供性提供有关在给定情况下可以采取哪些行动的信息，可以帮助机器人进行操作。然而，了解可供性需要昂贵的大型交互或演示注释数据集。在这项工作中，我们认为与环境的良好定向交互可以缓解这个问题，并提出一种基于信息的措施来增强代理的目标并加速可供性发现过程。我们为我们的方法提供了理论依据，并在模拟和现实任务中凭经验验证了该方法。我们的方法，我们称之为 IDA，能够有效地发现多个动作基元的视觉可供性，例如抓取、堆叠对象或打开抽屉，极大地提高了模拟中的数据效率，并且它使我们能够学习少量的抓取可供性在使用 UFACTORY XArm 6 机器人手臂的真实设置上进行交互。
直接学习昆虫机器人导航的起始向量方向
分类： 机器人技术, 计算机视觉和模式识别
作者： Michiel Firlefyn, Jesse Hagenaars, Guido de Croon
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03827v1
摘要： 昆虫长期以来因其利用巢穴环境中的视觉线索导航和返回家园的能力而受到认可。然而，这种非凡的归巢技能背后的精确机制仍然是正在进行的研究的主题。从蜜蜂和黄蜂的学习飞行中汲取灵感，我们提出了一种机器人导航方法，该方法可以在巢附近的学习飞行期间直接从视觉感知中学习家庭矢量方向。学习后，机器人将离开巢穴，通过里程计返回，并通过从当前经历的视图推断归巢矢量方向来消除由此产生的漂移。使用紧凑的卷积神经网络，我们展示了在模拟和真实森林环境中的成功学习，以及模拟四旋翼飞行器的成功归航控制。推断的归航矢量的平均误差通常远低于成功归航所需的 90{\deg}，如果所有图像都包含足够的纹理和照明，则低于 24{\deg}。此外，我们表明，初始学习飞行期间遵循的轨迹对网络的性能有显着影响。靠近巢的采样点密度越高，返回结果越一致。代码和数据可在 https://mavlab.tudelft.nl/learning_to_home 获取。
自平衡机器人的基于模型和数据的控制：使用 LabVIEW 和 Arduino 的实用教育方法
分类： 机器人技术, 系统与控制, 系统与控制
作者： Abdelrahman Abdelgawad, Tarek Shohdy, Ayman Nada
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03561v1
摘要： 两轮自平衡机器人（TWSBR）是非线性不稳定系统。本研究通过明确的实用教育方法比较了基于模型和基于数据的 TWSBR 控制策略的性能。基于模型的控制 (MBC) 算法（例如超前-滞后和 PID 控制）需要熟练的动态建模和数学运算来驱动线性化运动方程并开发适当的控制器。另一方面，基于数据的控制（DBC）方法（例如模糊控制）提供了一种更简单、更快捷的方法来设计有效的控制器，而无需深入了解系统模型。本文阐述了使用 TWSBR 的 MBC 和 DBC 的优点和缺点。所有控制器均在 OSOYOO 自平衡套件上实现和测试，包括 Arduino 微控制器、MPU-6050 传感器和直流电机。控制律和用户界面是使用 LabVIEW-LINX 工具包构建的。实时硬件在环实验验证了结果，强调了可以在经济高效的平台上实施的控制器。
Meta-Evolve：一对多策略传输的持续机器人进化
分类： 机器人技术, 人工智能, 机器学习, 神经和进化计算
作者： Xingyu Liu, Deepak Pathak, Ding Zhao
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03534v1
摘要： 我们研究了将专家策略从源机器人转移到多个不同机器人的问题。为了解决这个问题，我们提出了一种名为$Meta$-$Evolve$的方法，该方法使用连续的机器人进化，通过一组树形结构的进化机器人序列将策略有效地传递到每个目标机器人。机器人进化树允许共享机器人进化路径，因此我们的方法可以显着优于朴素的一对一策略转移。我们提出了一种启发式方法来确定优化的机器人进化树。实验表明，我们的方法能够将操纵策略的一对三转移效率提高高达 3.2$\times$，将敏捷运动策略的一对六转移效率提高 2.4$\times$，具体如下：模拟成本高于启动多个独立的一对一政策转移的基线。
混合现实增强的半自主机器人拆卸
分类： 机器人技术
作者： Alireza Rastegarpanah, Cesar Alan Contreras, Rustam Stolkin
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03530v1
摘要： 在这项研究中，我们介绍了“SARDiM”，这是一个通过混合现实增强的模块化半自主平台，用于工业拆卸任务。通过专注于电动汽车电池拆卸的案例研究，SARDiM 集成了混合现实、对象分割、远程操作、力反馈和可变自主性。 SARDiM 利用 ROS、Unity 和 MATLAB 平台以及联合阻抗控制器，促进远程操作拆卸。该方法结合了 FastSAM 进行实时对象分割，生成数据，随后通过聚类分析算法进行处理，以确定组件的质心和方向，并按大小和拆卸优先级对它们进行分类。该数据指导 MoveIt 平台为 Franka 机器人手臂进行轨迹规划。 SARDiM 提供在两种远程操作模式之间切换的能力：手动模式和具有可变自主性的半自主模式。每个方法都使用四种不同的界面方法 (IM) 进行评估：直接视图、监视器馈送、带有监视器馈送的混合现实以及点云混合现实。对八个 IM 的评估表明，使用模式 2，联合极限违规次数减少了 40.61%。此外，模式 2-IM4 的性能优于模式 1-IM1，时间减少了 2.33%，同时大大提高了安全性，使其成为危险环境中操作的最佳选择在安全距离内，与直接查看环境的远程操作一样易于使用。
DexSkills：使用触觉数据进行技能细分，用于学习自主长视野机器人操作任务
分类： 机器人技术
作者： Xiaofeng Mao, Gabriele Giudici, Claudio Coppola, Kaspar Althoefer, Ildar Farkhatdinov, Zhibin Li, Lorenzo Jamone
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03476v1
摘要： 使用灵巧的机器人手有效执行长期任务仍然是解决现实问题的重大挑战。虽然从人类示范中学习已经显示出令人鼓舞的结果，但它们需要大量的数据收集来进行训练。因此，将长期任务分解为可重用的原始技能是一种更有效的方法。为了实现这一目标，我们开发了 DexSkills，这是一种新颖的监督学习框架，可使用原始技能解决长期灵巧操作任务。 DexSkills 经过训练，可以使用人类演示数据来识别和复制一组选定的技能，然后可以将演示的长视野灵巧操作任务分割成一系列原始技能，从而直接实现机器人的一次性执行。值得注意的是，DexSkills 仅基于本体感受和触觉数据（即触觉数据）进行操作。我们的现实世界机器人实验表明，DexSkills 可以准确地分割技能，从而使机器人能够自主执行各种任务。
腹腔镜手术基础中钉转移任务的机器人约束模仿学习
分类： 机器人技术, 人工智能, 机器学习
作者： Kento Kawaharazuka, Kei Okada, Masayuki Inaba
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03440v1
摘要： 在这项研究中，我们提出了一种通过模仿学习执行《腹腔镜手术基础》（FLS）中的钉转移任务的机器人的实施策略，旨在开发用于腹腔镜手术的自主机器人。机器人腹腔镜手术面临两个主要挑战：（1）需要使用在体表上建立的端口作为支点来操纵镊子，以及（2）在使用在监视器上显示图像的单目相机时难以感知深度信息。特别是，关于问题（2），大多数先前的研究都假设了要操作的目标的深度图像或模型的可用性。因此，在本研究中，我们通过从熟练操作者的一个示例动作中提取运动约束，基于这些约束收集数据，并基于收集的数据进行模仿学习，仅用单目图像实现更准确的模仿学习。我们使用两个 Franka Emika Panda 机械臂实施了一个整体系统，并验证了其有效性。
VACO：针对多动症儿童的治疗和激励虚拟机器人代理的多视角开发，用于集中注意力
分类： 人机交互
作者： Birte Richter, Ira-Katharina Petras, Anna-Lisa Vollmer, Ayla Luong, Michael Siniatchkin, Britta Wrede
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03354v1
摘要： 在这项工作中，我们提出了（i）人工智能如何通过虚拟机器人代理进行动机性注意力训练来支持注意力缺陷多动障碍（ADHD）儿童更好地集中注意力的治疗的新方法，以及（ii）不同的利益相关者都包含了他们的观点。因此，我们提出了三种参与方法来纳入不同利益相关者的观点。一项针对德国家长的在线调查（研究 I）旨在确定他们是否会使用软件来提高孩子的注意力、影响他们使用软件的态度以及软件必须满足哪些要求。大约一半的家长愿意使用软件来提高注意力。为了开发尽可能接近实践的软件，其中一名开发人员参加了针对多动症的强化培训，目的是测试哪些要素在技术上是可行的。随后，第一个原型被提交给临床医生（研究 II）以进行进一步的调整。与最终用户进行了第一次可行性测试（研究 III），以检查系统是否有效以及儿童和青少年是否可以使用它。如果系统能够适应从业者和最终用户的需求，注意力表现软件可以为治疗多动症提供多种机会。这个开发过程需要大量的时间和密切的跨学科合作。
预测不确定性和多样性在具体人工智能和机器人学习中的作用
分类： 机器人技术, 人工智能, 计算机视觉和模式识别
作者： Ransalu Senanayake
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03164v1
摘要： 长期以来，不确定性一直是机器人研究的一个关键领域，特别是当机器人配备了分析模型时。随着我们在机器人中广泛使用深度神经网络（深度神经网络在研究环境中表现出了卓越的性能），理解不确定性的细微差别对于其在现实世界中的部署变得至关重要。本指南概述了不确定性的重要性，并提供了从应用角度量化和评估不确定性的方法。
CushSense：柔软、可拉伸且舒适的触觉感应皮肤，用于人机物理交互
分类： 机器人技术
作者： Boxin Xu, Luoyan Zhong, Grace Zhang, Xiaoyu Liang, Diego Virtue, Rishabh Madan, Tapomayukh Bhattacharjee
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03155v1
摘要： 全臂触觉反馈对于机器人确保与周围环境进行安全的物理交互至关重要。本文介绍了 CushSense，这是一种基于织物的柔软且可拉伸的触觉感应皮肤，专为机器人护理等物理人机交互 (pHRI) 任务而设计。 CushSense 使用可拉伸织物和超弹性聚合物，通过监测皮肤变形引起的电容变化来识别接触。 CushSense 具有成本效益（每个taxel $\sim$US$7）并且易于制造。我们详细介绍了传感器的设计和制造过程并进行了表征，强调了其高传感精度（相对误差为 0.58%）和耐用性（1000 次交互后精度下降了 0.054%）。我们还提出了一项用户研究，强调其在肢体操作辅助任务中的安全性和舒适性。我们在 https://emprise.cs.cornell.edu/cushsense 上开源所有与传感器相关的资源。
机器人空气曲棍球：带有强化学习的机器人学习操作测试台
分类： 机器人技术, 人工智能
作者： Caleb Chuck, Carl Qi, Michael J. Munje, Shuozhe Li, Max Rudolph, Chang Shi, Siddhant Agarwal, Harshit Sikchi, Abhinav Peri, Sarthak Dayal, Evan Kuo, Kavan Mehta, Anthony Wang, Peter Stone, Amy Zhang, Scott Niekum
发布时间： 2024-05-06
链接： http://arxiv.org/abs/2405.03113v1
摘要： 强化学习是一种很有前景的学习复杂策略的工具，即使在快速移动和对象交互的领域中，人类远程操作或硬编码策略可能会失败。为了有效地反映这一具有挑战性的任务类别，我们引入了基于机器人空气曲棍球的动态交互式强化学习测试台。通过为空气曲棍球增加一系列任务，从简单的任务（如伸手）到具有挑战性的任务（如用冰球击球推动方块），以及基于目标和人机交互的任务，我们的测试台可以对强化学习能力。机器人空气曲棍球测试台还支持三个领域的模拟到真实的转换：两个提高保真度的模拟器和一个真实的机器人系统。使用通过两个远程操作系统（虚拟化控制环境和人类影子）收集的演示数据集，我们通过行为克隆、离线强化学习和从头开始的强化学习来评估测试床。
通过聚类 SVM 增强各种机器人协作任务的检测分类
分类： 机器人技术
作者： Rui Liu, Xuanzhen Xu, Yuwei Shen, Armando Zhu, Chang Yu, Tianjian Chen, Ye Zhang
发布时间： 2024-05-05
链接： http://arxiv.org/abs/2405.03026v1
摘要： 我们为各种多机器人在曲线协商过程中引入了先进、快速的模式识别策略。该方法利用复杂的 k 均值聚类增强支持向量机算法，将机器人明确分类为飞行机器人或移动机器人。最初，该范式将机器人位置和特征视为指示不同机器人模式的典型参数。随后，采用 k 均值聚类技术有助于机器人数据的有效分离和整合，显着优化支持向量描绘过程并加快识别阶段。在这个准备阶段之后，SVM 方法被熟练地应用于构建判别超平面，从而实现机器人类别的精确分类和预测。为了证实 k-means 框架相对于传统 SVM 方法的有效性和优越性，精心策划了严格的交叉验证实验，证明了 k-means 框架在机器人群体分类方面的增强性能。
剑桥 RoboMaster：敏捷的多机器人研究平台
分类： 机器人技术, 多代理系统, 系统与控制, 系统与控制
作者： Jan Blumenkamp, Ajay Shankar, Matteo Bettini, Joshua Bird, Amanda Prorok
发布时间： 2024-05-03
链接： http://arxiv.org/abs/2405.02198v1
摘要： 具有强大计算和驱动能力的紧凑型机器人平台是多智能体研究在现实世界中实际部署的关键推动因素。本文介绍了出于此动机而设计的完整地面机器人平台上紧密集成的硬件、控制和仿真软件堆栈。我们的机器人是一组定制的 DJI Robomaster S1 车辆，在不具备足够计算或驱动能力的小型机器人和不适合室内多机器人测试的大型机器人之间提供平衡。它们运行基于 ROS2 的模块化最优估计和控制堆栈，以实现完全机载自治，包含临时点对点通信基础设施，并且可以零次运行在我们的矢量化多智能体中训练的多智能体强化学习 (MARL) 策略。代理模拟框架。我们对当前可用的其他平台进行了深入审查，展示了对我们系统功能的新实验验证，并介绍了案例研究，强调了我们系统作为广泛研究演示的测试平台的多功能性和可靠性。我们的系统以及补充材料可在线获取：https://proroklab.github.io/cambridge-robomaster
从进化中学习：利用进化机器人学的见解改进集体决策机制
分类： 多代理系统, 神经和进化计算, 机器人技术
作者： Tanja Katharina Kaiser
发布时间： 2024-05-03
链接： http://arxiv.org/abs/2405.02133v1
摘要： 集体决策使多机器人系统能够在现实环境中自主行动。现有的集体决策机制遭受所谓的速度与准确性权衡的困扰，或者依赖于高度复杂性，例如，通过包括全球通信。最近的工作表明，可以使用进化计算的方法生成基于人工神经网络的更有效的集体决策机制。这些决策神经网络的一个主要缺点是它们的可解释性有限。分析进化的决策机制可以帮助我们提高手工编码决策机制的效率，同时保持更高的可解释性。在本文中，我们详细分析了进化的集体决策机制，并根据所获得的见解手动编写了两种新的决策机制。在基准实验中，我们表明新实施的集体决策机制比最先进的集体决策机制选民模型和多数规则更有效。
崎岖地形中移动地面机器人有符号距离场的准确位姿预测
分类： 机器人技术
作者： Martin Oehler, Oskar von Stryk
发布时间： 2024-05-03
链接： http://arxiv.org/abs/2405.02121v1
摘要： 移动地面机器人在非结构化环境（例如航路点导航或鳍状肢控制）中的自主运动需要对机器人与地形的相互作用进行足够准确的预测。占用网格或可遍历性地图等启发式方法被广泛使用，但由于未考虑关节位置，因此限制了具有主动鳍状肢的机器人可用的操作。我们提出了一种新颖的迭代几何方法来预测具有主动鳍状肢的移动地面机器人在不平坦地面上的 3D 姿态，具有高精度和在线规划功能。这是通过利用带符号距离场的能力来以亚体素精度表示表面来实现的。该方法的有效性在模拟和真实平台上的两种不同履带式机器人上得到了证明。与作为地面实况的跟踪系统相比，我们的方法预测机器人位置和方向的平均精度为 3.11 cm 和 3.91{\deg}，优于最近基于高度图的方法。该实现作为开源 ROS 包提供。
优化机器人在网格上的分散：有或没有容错
分类： 分布式、并行和集群计算
作者： Rik Banerjee, Manish Kumar, Anisur Rahaman Molla
发布时间： 2024-05-03
链接： http://arxiv.org/abs/2405.02002v1
摘要： 跨匿名图节点的分散移动机器人的介绍和研究最近受到关注，并在各种图类和设置中进行了探索。虽然为{\em 定向} 网格建立了最佳色散解决方案 [Kshemkalyani 等人，WALCOM 2020]，但一个重要的未解决问题是在{\em 无向} 网格上实现最佳色散是否可行。本文研究了无向网格上的色散问题，同时考虑了无故障和故障机器人。与定向网格的直接导航相反，无向网格带来的挑战在于单个机器人在节点之间移动时缺乏清晰的方向感。我们提出了三种适合我们的机器人模型的确定性算法。第一个和第二个算法处理有故障和无故障机器人的分散，分别确保有向和无向网格中的时间和内存优化。有故障的机器人随时容易崩溃，造成永久性故障。在这两种设置中，我们在 $O(\sqrt{n})$ 轮中实现分散，同时每个机器人需要 $O(\log n)$ 位内存。第三种算法解决了在无向网格中容易发生崩溃故障的故障机器人。在这种情况下，我们的算法在 $O(\sqrt{n} \log n)$ 时间内运行，并且每个机器人使用 $O(\sqrt{n} \log n)$ 位内存。机器人需要知道 $n$ 的值才能终止。
基于毫米波雷达的人体活动识别医疗保健监控机器人
分类： 机器人技术, 人工智能, 信号处理
作者： Zhanzhong Gu, Xiangjian He, Gengfa Fang, Chengpei Xu, Feng Xia, Wenjing Jia
发布时间： 2024-05-03
链接： http://arxiv.org/abs/2405.01882v1
摘要： 医疗保健监测至关重要，尤其是对于独居老年人的日常护理。它可以检测跌倒等危险事件，并及时发出警报以挽救生命。使用先进人类活动识别 (HAR) 模型的基于非侵入性毫米波 (mmWave) 雷达的医疗保健监测系统最近引起了广泛关注。然而，它们在处理稀疏点云、实现实时连续分类以及应对静态安装时有限的监控范围方面遇到了挑战。为了克服这些限制，我们提出了 RobHAR，这是一种可移动机器人安装的毫米波雷达系统，具有轻量级深度神经网络，用于实时监控人类活动。具体来说，我们首先提出一种基于稀疏点云的全局嵌入，以使用 light-PointNet (LPN) 主干来学习点云的特征。然后，我们使用双向轻量级 LSTM 模型 (BiLiLSTM) 学习时间模式。此外，我们实施了一种转换优化策略，将隐马尔可夫模型（HMM）与联结时间分类（CTC）相结合，以提高连续 HAR 的准确性和鲁棒性。我们对三个数据集的实验表明，我们的方法在离散和连续 HAR 任务中都显着优于之前的研究。最后，我们将系统部署在可移动机器人安装的边缘计算平台上，在现实场景中实现灵活的医疗保健监控。
使用生成式人工智能创建新型软机器人设计
分类： 机器人技术, 人工智能
作者： Wee Kiat Chan, PengWei Wang, Raye Chen-Hua Yeow
发布时间： 2024-05-03
链接： http://arxiv.org/abs/2405.01824v1
摘要： 软机器人技术已成为一个充满前景的领域，有可能彻底改变医疗保健和制造业等行业。然而，设计有效的软机器人面临着挑战，特别是在管理材料特性、结构设计和控制策略的复杂相互作用方面。传统的设计方法通常非常耗时并且可能无法产生最佳设计。在本文中，我们探索使用生成式人工智能来创建软执行器的 3D 模型。我们创建了包含 70 多个文本形状配对的软气动机器人执行器设计的数据集，并采用潜在扩散模型 (SDFusion) 来学习数据分布并从中生成新颖的设计。通过采用迁移学习和数据增强技术，我们显着提高了扩散模型的性能。这些发现凸显了生成式人工智能在设计复杂软机器人系统方面的潜力，为该领域的未来发展铺平了道路。
学习轮腿机器人的鲁棒自主导航和运动
分类： 机器人技术, 机器学习, 系统与控制, 系统与控制
作者： Joonho Lee, Marko Bjelonic, Alexander Reske, Lorenz Wellhausen, Takahiro Miki, Marco Hutter
发布时间： 2024-05-03
链接： http://arxiv.org/abs/2405.01792v1
摘要： 自主轮腿机器人有潜力改变物流系统，提高运营效率和城市环境适应性。然而，在城市环境中导航对机器人提出了独特的挑战，需要创新的运动和导航解决方案。这些挑战包括跨不同地形的自适应运动的需要以及在复杂的动态障碍物周围有效导航的能力。这项工作介绍了一个完全集成的系统，包括自适应运动控制、移动感知本地导航规划和城市内的大规模路径规划。使用无模型强化学习（RL）技术和特权学习，我们开发了一种多功能运动控制器。通过步行和驾驶模式之间的平滑过渡，该控制器可在各种崎岖地形上实现高效、稳健的运动。它通过分层强化学习框架与学习导航控制器紧密集成，从而能够高速有效地导航穿过具有挑战性的地形和各种障碍物。我们的控制器集成到大型城市导航系统中，并通过在瑞士苏黎世和西班牙塞维利亚进行的自主公里级导航任务进行验证。这些任务展示了系统的稳健性和适应性，强调了集成控制系统在复杂环境中实现无缝导航的重要性。我们的研究结果支持轮腿机器人和分层强化学习用于自主导航的可行性，对最后一英里交付及其他领域具有影响。
无约束多机器人操作：在具有有界次优性的 ECBS 中启用任意约束
分类： 机器人技术, 多代理系统
作者： Yorai Shaoul, Rishi Veerapaneni, Maxim Likhachev, Jiaoyang Li
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01772v1
摘要： 多机器人臂运动规划（M-RAMP）是一个具有挑战性的问题，具有复杂的单智能体规划和多智能体协调的特点。最近在扩展流行的基于冲突的搜索 (CBS) 算法方面取得的进展在解决多代理路径查找 (MAPF) 问题方面取得了巨大进步。然而，将 CBS 应用于 M-RAMP 仍然存在根本挑战。一个核心挑战是 CBS 框架目前对保守的“完整”约束的依赖。这些约束确保了解决方案的保证，但通常会导致搜索空间修剪缓慢，从而导致重复昂贵的单代理规划调用。因此，即使可以利用领域知识并设计不完整的 M-RAMP 特定 CBS 约束来更有效地修剪搜索，但使用这些约束将使算法本身不完整。这迫使从业者在效率和完整性之间做出选择。鉴于这些挑战，我们提出了一种新颖的算法，即广义 ECBS，旨在消除 MAPF 算法的完整性和效率之间的选择负担。我们的方法允许在基于冲突的算法中使用任意约束，同时保持完整性和边界次优性。这使得从业者能够利用任意约束的好处，并为 MAPF 中的约束设计开辟了一个尚未探索的新空间。我们对我们的算法进行了理论分析，提出了新的“不完整”约束，并通过 M-RAMP 中的实验证明了其有效性。
预测多机器人团队的集体表现
分类： 机器人技术
作者： Pujie Xin, Zhanteng Xie, Philip Dames
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01771v1
摘要： 多机器人系统（MRS）在各个领域的部署不断增加，导致需要对系统级性能进行分析。然而，由于系统和环境因素（例如团队规模和环境规模）的广泛性，为 MRS 创建一致的指标具有挑战性。本文提出了一种基于无量纲变量分析的新 MRS 分析框架，无量纲变量分析是一种通常用于简化复杂物理系统的数学技术。这种方法有效地将影响 MRS 性能的复杂参数压缩为一组可管理的无量纲变量。我们形成无量纲变量，其中封装了机器人团队和任务的关键参数。然后我们使用这些无量纲变量来拟合团队绩效的参数模型。我们的模型成功识别了关键性能决定因素及其相互依赖性，为 MRS 设计和优化提供了见解。无量纲变量分析在 MRS 中的应用为 MRS 分析提供了一种有前途的方法，可以有效降低复杂性，增强对系统行为的理解，并为未来 MRS 部署的设计和管理提供信息。
Plan-Seq-Learn：语言模型引导的 RL 用于解决长视野机器人任务
分类： 机器学习, 人工智能, 计算机视觉和模式识别, 机器人技术
作者： Murtaza Dalal, Tarun Chiruvolu, Devendra Chaplot, Ruslan Salakhutdinov
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01534v1
摘要： 大型语言模型 (LLM) 已被证明能够对长期机器人任务执行高级规划，但现有方法需要访问预定义的技能库（例如拾取、放置、拉动、推动、导航）。然而，大语言模型规划并没有解决如何设计或学习这些行为，这仍然具有挑战性，特别是在长期环境中。此外，对于许多感兴趣的任务，机器人需要能够以细粒度的方式调整其行为，要求代理能够修改低级控制动作。我们是否可以使用大语言模型的互联网规模知识来制定高级政策，指导强化学习（RL）政策来有效地在线解决机器人控制任务，而不需要预先确定的技能集？在本文中，我们提出了 Plan-Seq-Learn (PSL)：一种模块化方法，使用运动规划来弥合抽象语言和学习的低级控制之间的差距，以从头开始解决长视野机器人任务。我们证明，PSL 在超过 25 项具有挑战性的机器人任务（最多 10 个阶段）中取得了最先进的结果。 PSL 通过跨越四个基准的原始视觉输入解决了长期任务，成功率超过 85%，优于基于语言的经典方法和端到端方法。视频结果和代码位于 https://mihdalal.github.io/planseqlearn/
Track2Act：从互联网视频预测点轨迹可实现多样化的零样本机器人操作
分类： 机器人技术, 计算机视觉和模式识别
作者： Homanga Bharadhwaj, Roozbeh Mottaghi, Abhinav Gupta, Shubham Tulsiani
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01527v1
摘要： 我们寻求学习一种可推广的目标条件策略，该策略能够实现零镜头机器人操作：在新场景中与看不见的物体进行交互，而无需测试时间适应。虽然典型的方法依赖于大量的演示数据来进行这种概括，但我们提出了一种利用网络视频来预测合理的交互计划并学习与任务无关的转换以获得现实世界中的机器人动作的方法。我们的框架 Track2Act 根据目标预测图像中的点在未来时间步长中应如何移动的轨迹，并且可以使用网络上的各种视频进行训练，包括人类和机器人操纵日常物体的视频。我们使用这些 2D 轨迹预测来推断要操纵的物体的一系列刚性变换，并获得可以以开环方式执行的机器人末端执行器姿势。然后，我们通过经过一些特定于实施例的演示训练的闭环策略来预测剩余动作，从而完善这个开环计划。我们证明，这种将可扩展学习的轨迹预测与需要最少的域内机器人特定数据的残差策略相结合的方法可以实现零射击机器人操作，并在看不见的任务、对象和对象中呈现广泛的现实世界机器人操作结果。场景。 https://homangab.github.io/track2act/
IntervenGen：用于稳健且数据高效的机器人模仿学习的介入数据生成
分类： 机器人技术, 人工智能
作者： Ryan Hoque, Ajay Mandlekar, Caelan Garrett, Ken Goldberg, Dieter Fox
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01472v1
摘要： 模仿学习是训练机器人控制策略的一种有前途的范例，但这些策略可能会受到分布变化的影响，其中评估时的条件与训练数据中的条件不同。提高政策对分配转移的稳健性的一种流行方法是交互式模仿学习（即 DAgger 和变体），其中人类操作员在政策推出期间提供纠正干预。然而，收集足够数量的干预措施来覆盖政策错误的分布对于人类操作员来说可能是一个负担。我们提出了 IntervenGen (I-Gen)，这是一种新颖的数据生成系统，可以通过少量的人类干预自主产生大量的纠正干预措施，并具有丰富的状态空间覆盖范围。我们将 I-Gen 应用于 4 个模拟环境和 1 个具有物体姿态估计误差的物理环境，并表明它只需 10 次人工干预即可将策略稳健性提高多达 39 倍。视频和更多结果请访问 https://sites.google.com/view/intervengen2024。
人机交互会话用户享受量表（HRI CUES）
分类： 机器人技术, 人机交互
作者： Bahar Irfan, Jura Miniota, Sofia Thunberg, Erik Lagerstedt, Sanna Kuoppamäki, Gabriel Skantze, André Pereira
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01354v1
摘要： 了解用户的享受对于人机交互 (HRI) 至关重要，因为它会影响交互质量并影响用户接受度以及与机器人的长期互动，特别是在与社交机器人对话的情况下。然而，当前的评估方法仅依赖于自我报告的问卷调查，无法捕捉互动动态。这项工作介绍了人机交互会话用户享受量表（HRI CUES），这是一种新颖的量表，用于从外部角度评估用户在与机器人对话期间的享受程度。该量表是通过三位具有相关专业知识的注释者的严格评估和讨论而制定的，提供了一个结构化框架，用于评估每次对话交流（轮流）的乐趣以及整体互动水平。它旨在补充用户自我报告的享受，并具有在实时 HRI 中自动识别用户享受的潜力。该量表在 25 名老年人与同伴机器人的开放域对话上得到了验证，该机器人由大型对话语言模型提供支持，相当于 174 分钟的数据，显示出中等至良好的一致性。此外，该研究还提供了了解评估用户在机器人交互中的乐趣的细微差别和挑战的见解，并提供了将该量表应用于其他领域的指南。
NeRF 在机器人技术中的应用：一项调查
分类： 机器人技术, 计算机视觉和模式识别
作者： Guangming Wang, Lei Pan, Songyou Peng, Shaohui Liu, Chenfeng Xu, Yanzi Miao, Wei Zhan, Masayoshi Tomizuka, Marc Pollefeys, Hesheng Wang
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01333v1
摘要： 细致的 3D 环境表示一直是计算机视觉和机器人领域的长期目标。最近出现的神经隐式表示为该领域带来了根本性的创新，因为隐式表示可以实现多种功能。其中，神经辐射场（NeRF）因其简化的数学模型、紧凑的环境存储和连续的场景表示等巨大的表示优势而引发了一股趋势。除了计算机视觉之外，NeRF在机器人领域也展现出了巨大的潜力。因此，我们创建这项调查是为了提供对 NeRF 在机器人领域的全面了解。通过探索 NeRF 的优点和局限性，以及它当前的应用和未来的潜力，我们希望阐明这一有前景的研究领域。我们的调查分为两个主要部分：\textit{NeRF 在机器人领域的应用} 和 \textit{NeRF 在机器人领域的进展}，从 NeRF 如何进入机器人领域的角度。在第一部分中，我们从感知和交互的角度介绍和分析了一些已经或可以用于机器人领域的工作。在第二部分中，我们展示了一些与改进 NeRF 自身特性相关的工作，这对于在机器人领域部署 NeRF 至关重要。在综述的讨论部分，我们总结了现有的挑战，并提供了一些有价值的未来研究方向以供参考。
Imagine2touch：使用高效低维信号进行机器人操作的预测触觉传感
分类： 机器人技术, 计算机视觉和模式识别
作者： Abdallah Ayad, Adrian Röfer, Nick Heppert, Abhinav Valada
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01192v1
摘要： 人类似乎将潜在的触摸信号纳入了他们的感知中。我们的目标是为机器人配备类似的功能，我们称之为 Imagine2touch。 Imagine2touch 旨在根据代表触摸区域的视觉块来预测预期的触摸信号。我们使用 ReSkin（一种廉价且紧凑的触摸传感器）通过随机触摸五个基本几何形状和一个工具来收集所需的数据集。我们在其中两个形状上训练 Imagine2touch，并在现场验证它。工具。我们通过将 Imagine2touch 应用于下游对象识别任务来展示其功效。在此任务中，我们通过两个实验评估 Imagine2touch 的性能，其中包括 5 个训练分布对象。 Imagine2touch 在每个物体触摸 10 次后实现了 58% 的物体识别准确率，超过了本体感觉基线。
CoViS-Net：用于多机器人应用的协作视觉空间基础模型
分类： 机器人技术, 多代理系统, 系统与控制, 系统与控制
作者： Jan Blumenkamp, Steven Morad, Jennifer Gielis, Amanda Prorok
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01107v1
摘要： 视觉空间理解对于在非结构化环境中运行的机器人至关重要。在现实世界中，空间理解通常是一个不适定问题。有许多强大的经典方法可以准确地回归相对姿势，但是，这些方法通常缺乏利用数据派生先验来解决歧义的能力。在多机器人系统中，由于需要准确且频繁地估计合作代理的位置，这些挑战变得更加严重。为此，我们提出了 CoViS-Net，这是一种协作、多机器人、视觉空间基础模型，可以从数据中学习空间先验。与之前主要在离线数据集上评估的工作不同，我们专门为在线评估和协作机器人的实际部署而设计模型。我们的模型是完全去中心化的，与平台无关，可以使用板载计算实时执行，并且不需要现有的网络基础设施。在这项工作中，我们专注于相对姿态估计和局部鸟瞰图（BEV）预测任务。与经典方法不同，我们表明我们的模型可以准确预测相对姿势，而无需相机重叠，并预测自我代理不可见区域的 BEV。我们在实验室范围之外的多机器人编队控制任务上展示了我们的模型。
研究同理心与机器人心理状态归因之间的关系
分类： 机器人技术, 人机交互
作者： Alberto Lillo, Alessandro Saracco, Elena Siletto, Claudio Mattutino, Cristina Gena
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.01019v1
摘要： 本文描述了一项实验评估，旨在检测用户在对话过程中对机器人共情能力的感知。然后对结果进行分析，以寻找感知的同理心与机器人心理状态的归属之间可能的关系，即用户对机器人与人类相比的心理素质的感知。涉及的样本包括 68 名受试者，其中成人 34 名，青少年和儿童 34 名。通过对成人和儿童参与者进行实验，可以比较每组获得的结果，并确定不同年龄组之间感知的差异。
通过物理嵌入式 3D 高斯函数使用机器人手术视频进行高效的数据驱动场景模拟
分类： 机器人技术, 计算机视觉和模式识别, 图形
作者： Zhenya Yang, Kai Chen, Yonghao Long, Qi Dou
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.00956v1
摘要： 手术场景模拟在手术教育和基于模拟器的机器人学习中发挥着至关重要的作用。使用手术场景创建这些环境的传统方法涉及劳动密集型过程，其中设计师手工制作具有纹理和几何形状的组织模型，以进行软体模拟。这种手动方法不仅耗时，而且在可扩展性和真实性方面也受到限制。相比之下，数据驱动的模拟提供了一种引人注目的替代方案。它有潜力从现实世界的手术视频数据自动重建 3D 手术场景，然后应用软体物理。然而，这个领域相对未知。在我们的研究中，我们引入 3D 高斯作为手术场景的可学习表示，这是从立体内窥镜视频中学习的。为了防止过度拟合并确保这些场景的几何正确性，我们将深度监督和各向异性正则化纳入高斯学习过程。此外，我们将与物理属性相结合的材质点法应用于 3D 高斯，以实现逼真的场景变形。我们的方法在我们收集的内部和公共手术视频数据集上进行了评估。结果表明，它可以有效地从内窥镜视频中重建和模拟手术场景（只需几分钟即可重建手术场景），并以接近实时的速度产生视觉和物理上合理的变形。结果表明，我们提出的方法在提高外科教育和机器人学习模拟的效率和多样性方面具有巨大潜力。
双臂轨道机器人可靠捕获空间碎片：翻滚和关笼
分类： 机器人技术
作者： Akiyoshi Uchida, Kentaro Uno, Kazuya Yoshida
发布时间： 2024-05-02
链接： http://arxiv.org/abs/2405.00943v1
摘要： 配备机械臂的追踪卫星可以捕获太空碎片并对其进行操纵，以用于更高级的任务，例如加油和脱轨。为了便于捕获，提出了一种基于笼子的策略来简化控制系统。笼罩涉及在几何上限制目标碎片的运动，并通过位置控制来实现。但如果目标高速旋转，直接囚禁可能会导致约束不成功或硬件损坏；因此，在捕获目标之前应先消除翻滚状态。为了解决这个问题，本研究提出了一种基于重复接触的方法，该方法使用阻抗控制来减轻目标的动量。在本研究中，我们从阻抗参数的角度分析了所提出的去滚技术。我们通过参数分析研究了它们的影响，并展示了作为空间碎片代表的微型卫星的成功翻滚和笼入序列。与直接笼中相比，在滚转过程中接触力降低。此外，通过在二维微重力模拟试验台上使用双臂气浮机器人进行模拟和实验，验证了所提出的脱滚和入笼序列。
用于通信受限探索和静电异常表征的多机器人策略
分类： 机器人技术
作者： Gjosse Zijlstra, Karen L. Aplin, Edmund R. Hunt
发布时间： 2024-05-01
链接： http://arxiv.org/abs/2405.00586v1
摘要： 对火星等极端或偏远环境的探索通常被认为是多机器人系统的机会。然而，这给在没有预先存在的基础设施的情况下维持强大的机器人间通信带来了挑战。机器人可能只有在物理上彼此靠近时才能共享信息。与此同时，人们对尘暴等大气现象知之甚少，对其静电特性的表征具有科学意义。我们对两种多机器人通信策略进行了比较分析：一种采用成对间歇性交会的分布式方法，以及一种集中式固定基站方法。我们还介绍并评估了一种算法的有效性，该算法旨在预测静电异常的位置和强度（假设机器人接近）。使用基于代理的模拟，我们评估了这些策略在火星环境的二维网格单元表示中的性能。结果表明，分散式交会系统在探索速度和降低数据丢失风险方面始终优于固定基站系统。我们还发现，在尝试预测静电异常的位置和强度时，机器人间数据共享可以提高性能。这些发现表明适当的通信策略对于高效的多机器人科学任务的重要性。
通过自主超声扫描的具体智能增强手术机器人
分类： 机器人技术, 人工智能, 计算和语言, 人机交互
作者： Huan Xu, Jinlin Wu, Guanglin Cao, Zhen Lei, Zhen Chen, Hongbin Liu
发布时间： 2024-05-01
链接： http://arxiv.org/abs/2405.00461v1
摘要： 超声机器人越来越多地应用于医疗诊断和早期疾病筛查。然而，当前的超声机器人缺乏理解人类意图和指令的智能，阻碍了自主超声扫描。为了解决这个问题，我们提出了一种新颖的超声体现智能系统，为超声机器人配备大语言模型（LLM）和领域知识，从而提高超声机器人的效率。具体来说，我们首先设计了一个超声操作知识数据库，将超声扫描方面的专业知识添加到大语言模型中，使大语言模型能够执行精确的运动规划。此外，我们设计了一种基于 \textit{think-observe-execute} 提示工程的动态超声扫描策略，允许大语言模型在扫描过程中动态调整运动规划策略。大量实验表明，我们的系统通过口头命令显着提高了超声扫描效率和质量。自主医疗扫描技术的进步有助于无创诊断和简化医疗工作流程。
密闭空间大范围变桨距水下机器人姿态跟踪的自适应积分滑模控制
分类： 机器人技术
作者： Xiaorui Wang, Zeyu Sha, Feitian Zhang
发布时间： 2024-05-01
链接： http://arxiv.org/abs/2405.00269v1
摘要： 水下机器人在探索水生环境中发挥着至关重要的作用。灵活调整姿态的能力对于水下机器人有效完成密闭空间任务至关重要。然而，姿态变化引起的高度耦合的六自由度动力学和有限空间区域内的复杂湍流提出了重大挑战。为了解决水下机器人的姿态控制问题，本文研究了站位保持期间的大范围俯仰角跟踪以及同时的横滚和偏航角控制，以实现多种姿态调整。基于动态建模，本文提出了一种自适应积分滑模控制器（AISMC），它将积分模块集成到传统滑模控制（SMC）中，并自适应调整开关增益，以提高跟踪精度、减少抖振并增强鲁棒性。通过Lyapunov分析建立闭环控制系统的稳定性。使用商用遥控潜水器（ROV）进行了大量的实验和对比研究，结果表明AISMC在未知扰动的有限空间中的姿态跟踪控制中取得了令人满意的性能，显着优于PID和SMC。
机器人作为传感器：与机器人形成传感网络以执行地下采矿任务
分类： 网络和互联网架构
作者： Xiaoyu Ai, Chengpei Xu, Binghao Li, Feng Xia
发布时间： 2024-05-01
链接： http://arxiv.org/abs/2405.00266v1
摘要： 如今，机器人被部署为配备传感、通信和计算功能的移动平台，特别是在采矿业，它们在危险和重复的环境中执行任务。尽管具有潜力，但单个机器人在完成需要多个机器人协作的复杂任务时面临着巨大的限制。这种协作需要强大的无线网络来确保运营效率和可靠性。本文介绍了“机器人作为传感器”（RAAS）的概念，它将机器人视为类似于无线传感器网络（WSN）结构内的移动传感器。随后，我们确定了集成 RAAS 技术的具体挑战，并提出了解决这些挑战的技术进步方案。最后，我们对有助于实现 RAAS 的技术进行了展望，表明这种方法可以促进向更安全、更智能和可持续的行业实践的转变。我们相信，这种创新的 RAAS 框架可以显着改变需要先进技术集成的行业。