2024-05

政治学中社会和政治因素可视化方法的调查：迄今为止的进展和未来的机会

分类： 人机交互

作者： Dongyun Han, Abdullah-Al-Raihan Nayeem, Jason Windett, Yaoyao Dai, Benjamin Radford, Isaac Cho

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05947v1

摘要： 政治是与群体战略决策相关的一系列活动。政治学家研究国家、机构、政治家和公民之间的战略互动；他们试图了解这些决定和互动的原因和后果。虽然有些决定可能会缓解社会问题，但其他决定可能会导致战争和冲突等灾难。数据可视化方法有可能通过提供视觉背景来协助政治科学家的研究。然而，政治研究人员对数据可视化的看法尚不清楚。本文探讨了政治科学家对可视化的看法以及他们如何在研究中应用数据可视化。我们发现政治科学期刊中图表的使用呈增长趋势。然而，我们还发现政治科学和可视化领域之间存在知识差距，例如任务的有效可视化技术以及可视化研究人员研究的颜色使用。为了缩小这一差距，我们调查了适用于政治科学家研究的可视化技术，并报告了政治科学家实施和评估的可视化分析系统。在本文的最后，我们概述了政治学和数据分析多学科研究的未来机会，包括研究主题和方法。通过本文，我们期望可视化研究人员能够更好地掌握政治学领域，并从多学科的角度拓宽未来可视化方法的可能性。

RoboHop：开放世界视觉导航的基于分段的拓扑图表示

分类： 机器人技术, 人工智能, 计算机视觉和模式识别, 人机交互, 机器学习

作者： Sourav Garg, Krishan Rana, Mehdi Hosseinzadeh, Lachlan Mares, Niko Sünderhauf, Feras Dayoub, Ian Reid

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05792v1

摘要： 绘图对于空间推理、规划和机器人导航至关重要。现有的方法包括从需要精确的基于几何优化的度量到纯粹的拓扑，其中基于图像作为节点的图缺乏明确的对象级推理和互连性。在本文中，我们提出了一种基于“图像片段”的环境的新颖拓扑表示，它具有语义意义且可开放词汇查询，与之前基于像素级特征的工作相比具有多种优势。与 3D 场景图不同，我们创建一个以片段作为节点的纯拓扑图，其中边缘由以下方式形成：a）在连续图像对之间关联片段级描述符；b）使用图像中的像素质心连接图像中的相邻片段。这揭示了一种“地方的连续感”，由片段及其图像内邻居的图像间持久性定义。它进一步使我们能够使用图卷积层通过邻域聚合来表示和更新段级描述符，从而改进基于段级检索的机器人定位。使用真实世界的数据，我们展示了如何使用我们提出的地图表示来i）以“跳过段”的形式生成导航计划，以及ii）使用描述对象空间关系的自然语言查询来搜索目标对象。此外，我们定量分析了分段级别的数据关联，这支持了重新访问同一地点时映射和分段级别定位过程中图像间的连接。最后，我们展示了基于分段级“跳跃”的零样本现实世界导航的初步试验。包含补充详细信息的项目页面：oravus.github.io/RoboHop/

探索人类与大语言模型在推进定性分析方面的协同潜力：精神疾病耻辱案例研究

分类： 人机交互, 计算和语言, 计算机与社会

作者： Han Meng, Yitian Yang, Yunan Li, Jungup Lee, Yi-Chieh Lee

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05758v1

摘要： 定性分析是推进人机交互 (HCI) 领域研究的一个具有挑战性但又至关重要的方面。最近的研究表明，大型语言模型 (LLM) 可以在现有方案中执行定性编码，但它们在人类与 LLM 协作发现和定性分析中生成新见解的潜力尚未得到充分探索。为了弥合这一差距并通过利用大语言模型的力量推进定性分析，我们提出了 CHALET，这是一种利用人类与大语言模型协作范式来促进概念化并增强定性研究的新颖方法。 CHALET 方法涉及大语言模型支持的数据收集，执行人类和大语言模型演绎编码以识别分歧，并对这些分歧案例执行协作归纳编码以得出新的概念见解。我们通过将 CHALET 应用于精神疾病耻辱归因模型来验证 CHALET 的有效性，揭示认知、情感和行为维度上隐含的耻辱主题。我们讨论了 CHALET 对未来研究、方法论以及为 HCI 社区及其他领域带来的跨学科机会的影响。

超越提示：从人类沟通中学习以增强人工智能意图一致性

分类： 人机交互, 计算和语言

作者： Yoonsu Kim, Kihoon Son, Seoyoung Kim, Juho Kim

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05678v1

摘要： 人工智能意图一致，确保人工智能产生用户预期的结果，是人机交互中的一个关键挑战。包括大语言模型在内的生成式人工智能的出现加剧了这个问题的重要性，因为交互越来越多地涉及用户为人工智能系统指定所需的结果。为了支持更好的人工智能意图对齐，我们的目标是探索人与人交流中意图规范的人类策略。通过研究和比较人与人以及人与大语言模型的沟通，我们确定了可应用于人工智能系统设计的关键策略，这些策略可以更有效地理解和符合用户意图。本研究旨在通过将人类通信策略整合到人工智能系统的设计中，推进以人为中心的人工智能系统。

工具箱中的 AI：用于从 3D 模型生成渲染的插件

分类： 人机交互

作者： Mingming Wang

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05627v1

摘要： 随着大语言模型和AIGC技术的快速发展，我们推出了利用稳定扩散技术的Rhino平台插件。该插件支持从 3D 建模软件进行实时应用程序部署，将稳定的扩散模型与 Rhino 的功能集成在一起。提供智能设计功能、实时反馈、跨平台联动，提升设计效率和质量。我们持续努力的重点是优化插件，以进一步推进 CAD 中的人工智能应用，为设计师提供更智能、更高效的设计工具。我们的目标是为设计人员提供增强的能力，以便在日益人工智能驱动的 CAD 环境中创建卓越的设计。

一对多：从多个错误和不一致的人工智能生成中理解准确信息

分类： 人机交互, 人工智能, 计算和语言

作者： Yoonjoo Lee, Kihoon Son, Tae Soo Kim, Jisu Kim, John Joon Young Chung, Eytan Adar, Juho Kim

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05581v1

摘要： 由于大型语言模型 (LLM) 具有不确定性，因此相同的输入可以生成不同的输出，其中一些可能是不正确的或幻觉的。如果再次运行，LLM 可能会自行纠正并产生正确的答案。不幸的是，大多数由大语言模型支持的系统都采用单一结果，无论正确与否，用户都会接受。让大语言模型产生多个输出可能有助于识别分歧或替代方案。然而，用户如何解释冲突或不一致并不明显。为此，我们研究了用户在收到多个可能不一致的输出时如何感知人工智能模型并理解生成的信息。通过初步研究，我们确定了五种类型的输出不一致。基于这些类别，我们进行了一项研究 (N=252)，其中向参与者提供了一个或多个由大语言模型生成的关于信息寻求问题的段落。我们发现，多个大语言模型生成的输出之间的不一致降低了参与者感知的人工智能能力，同时也增加了他们对给定信息的理解。具体来说，我们观察到，与阅读三篇文章的参与者相比，阅读两篇文章的参与者对于不一致的这种积极影响最为显着。基于这些发现，我们提出了设计含义，即我们可以揭示潜在的不一致，以透明地表明这些模型的局限性并促进关键的 LLM 使用，而不是将 LLM 输出不一致视为缺点。

智能 EC 后视镜：通过云边缘协作实现动态眩光缓解，增强驾驶员安全

分类： 人机交互, 系统与控制, 系统与控制

作者： Junyi Yang, Zefei Xu, Huayi Lai, Hongjian Chen, Sifan Kong, Yutong Wu, Huan Yang

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05579v1

摘要： 尾随车辆突然发出的眩光显着增加了驾驶安全风险。现有的电子后视镜、手动调节后视镜、电致变色后视镜等防眩光技术价格昂贵，且缺乏对不同照明条件的有效适应性。为了解决这些问题，我们的研究推出了一种利用新型全液体电致变色技术的智能后视镜系统。该系统将物联网与云边缘协作框架内的集成和联合学习相集成，动态控制电压以有效消除眩光并保持清晰的可见度。它利用集成学习模型，根据光强度自动调整镜面透射率，在测试集上实现了 0.109 的低 RMSE。此外，该系统利用联邦学习进行跨设备的分布式数据训练，从而增强隐私并不断更新云模型。与传统方法不同，我们的实验采用带有TOPSIS的Schmidt-Clausen和Bindels de Boer 9点量表对后视镜眩光进行综合评价。该系统设计方便且具有成本效益，展示了物联网和人工智能如何显着增强后视镜防眩光性能。

研究人类与大语言模型合作中的交互模式和用户代理以进行特定领域的数据分析

分类： 人机交互, H.5.2

作者： Jiajing Guo, Vikram Mohanty, Jorge Piazentin Ono, Hongtao Hao, Liang Gou, Liu Ren

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05548v1

摘要： 尽管在执行与通用域数据操作任务相关的任务方面表现出强大的功能，但大型语言模型（LLM）在应用于特定于域的任务时可能会表现出缺点。我们从交互和用户代理两个维度考虑特定领域人工智能驱动的数据分析工具的设计。我们实现了两个落在二维两端的设计探针：开放式高代理（OHA）原型和结构化低代理（SLA）原型。我们对九位数据科学家进行了访谈研究，以调查 (1) 用户如何看待 LLM 输出对数据分析的帮助，以及 (2) OHA 和 SLA 这两个测试设计探针如何影响用户行为、性能和感知。我们的研究揭示了参与者与大语言模型的互动、他们如何看待结果、他们对大语言模型输出的可解释性的渴望、与其他用户协作的明显需求，以及他们如何设想大语言模型在工作流程中的效用。

在识字游戏中使用传感器数据预测认知负荷

分类： 人机交互

作者： Minghao Cai, Carrie Demmans Epp

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05543v1

摘要： 教育游戏越来越多地用于支持自定进度的学习。然而，教育工作者和系统设计者在监控学生的情感和认知负荷方面经常面临挑战。基于游戏的学习环境 (GBLE) 中的现有评估往往更多地关注结果而不是过程，可能会忽视学习旅程的关键方面，包括学习者情感和认知负荷。为了解决这个问题，我们收集了数据并训练了一个模型来跟踪学习者在使用在线英语识字游戏时的认知负荷。我们在游戏过程中收集了与情感相关的生理数据和瞳孔数据，以便开发能够识别学习者过程的这些潜在特征的模型。我们的模型表明使用这些数据来跟踪 GBLE 中的认知负荷的可行性。我们的多模态模型区分了不同水平的认知负荷，实现了最高的 Kappa (0.417) 和准确度 (70%)。我们的模型揭示了在预测认知负荷时包含情感相关特征（即 EDA 和心率）的重要性，并扩展了最近的发现，表明在对学习者过程的潜在方面进行建模时使用多个渠道的好处。研究结果还表明，认知负荷跟踪现在可用于促进个性化学习体验的创建。

（取消）贡献：揭示涉及非母语人士、母语人士和人工智能编辑工具的协作写作的隐藏障碍

分类： 人机交互

作者： Yimin Xiao, Yuewen Chen, Naomi Yamashita, Yuexi Chen, Zhicheng Liu, Ge Gao

发布时间： 2024-05-09

链接： http://arxiv.org/abs/2405.05474v1

摘要： 如今的内容创作通常是通过协作写作来进行的。 CSCW 研究的长期兴趣在于理解和促进共同作者之间的协调。然而，很少有人关注用非母语写作的个人以及涉及他们的合著者团体。我们提出了一项混合方法研究来填补上述空白。我们的参与者包括 32 个共同作者小组，每个小组由一名英语母语人士 (NS) 和一名英语水平有限的非母语人士 (NNS) 组成。他们采用两种不同的工作流程进行协作写作：一半的小组开始时由 NNS 进行第一个编辑，另一半则让 NNS 在 NS 之后进行编辑。我们的数据揭示了 NNS 独有的“后发劣势”：当 NNS 的编辑轮次安排在 NS 轮次之后（而不是之前）时，NNS 对联合文档的构思贡献就会受到抑制。令人惊讶的是，人工智能工具提供的编辑帮助并没有使 NNS 免受不利影响。相反，它引发了 NS 对 NNS 的英语水平和写作中表现出的代理能力的高估，从而给合作带来了意想不到的紧张气氛。这些发现揭示了在不同语言环境中对合著者贡献的公平评估和有效推广。特别是，他们强调有必要理清对联合写作的观念、表达和词汇方面的贡献。

《社区准则让这成为互联网上最好的派对》：在线平台内容审核政策的深入研究

分类： 人机交互, 社交和信息网络

作者： Brennan Schaffner, Arjun Nitin Bhagoji, Siyuan Cheng, Jacqueline Mei, Jay L. Shen, Grace Wang, Marshini Chetty, Nick Feamster, Genevieve Lakier, Chenhao Tan

发布时间： 2024-05-08

链接： http://arxiv.org/abs/2405.05225v1

摘要： 审核在线平台上用户生成的内容对于平衡用户安全和言论自由至关重要。特别是在美国，平台不受规定允许内容的法律约束。因此，每个平台都制定了定制的内容审核政策，但在跨平台和主题之间对这些政策的比较理解方面几乎没有开展工作。本文首次对 43 个最大的托管用户生成内容的在线平台的这些政策进行系统研究，重点关注版权侵权、有害言论和误导性内容的政策。我们构建了一个自定义网络爬虫来获取策略文本，并开发一个统一的注释方案来分析文本中是否存在关键组件。我们发现跨主题和平台的政策存在显着的结构和构成差异，其中一些差异归因于不同的法律基础。我们为未来研究不断发展的内容审核政策及其对用户的影响奠定了基础。

生成式人工智能对人机交互教育的潜力和影响

分类： 人机交互, 人工智能

作者： Ahmed Kharrufa, Ian G Johnson

发布时间： 2024-05-08

链接： http://arxiv.org/abs/2405.05154v1

摘要： 生成式人工智能（GAI）正在直接或间接地影响一系列学科和学科的教学和学习。作为教育工作者，我们需要了解人工智能在人机交互教育中的潜力和局限性，并确保即将毕业的人机交互学生意识到人工智能在人机交互中的潜力和局限性。在本文中，我们报告了将生成式人工智能纳入为期 10 周的本科生模块中获得的主要教学见解。我们设计该模块是为了鼓励学生尝试 GAI 模型，作为设计概要要求和计划的实践课程和讨论的一部分。我们的见解基于对完成该模块后发送给学生的调查的答复。我们针对人机交互教育工作者的主要发现报告了使用人工智能作为开发项目想法和创建设计资源的角色，以及使用人工智能作为反映学生对关键概念和想法的理解并突出知识差距的镜子。我们还讨论了应该考虑的潜在陷阱以及评估学生的素养和 GAI 作为教学工具的假设的必要性。最后，我们建议教育工作者抓住 GAI 提供的机会作为教育工具，并在实践中进行实验、创新和勇敢。最后我们讨论了与人机交互中的 TPACK 框架相关的发现。

创建综合角色时对大型语言模型偏差的担忧

分类： 人机交互, 人工智能

作者： Helena A. Haxvig

发布时间： 2024-05-08

链接： http://arxiv.org/abs/2405.05080v1

摘要： 本立场文件探讨了将合成角色纳入 HCI 研究的好处、缺点和伦理考虑，特别关注超出当前大型语言模型 (LLM) 限制的定制挑战。这些观点源自一项子研究的初步结果，该子研究利用小插图来展示黑盒大语言模型中存在的偏见，并探索操纵它们的方法。该研究旨在为理解与这些模型相关的挑战奠定基础，强调在利用它们为人机交互研究创建合成角色之前进行彻底测试的必要性。

推荐系统中语气感知解释的影响

分类： 人机交互, 信息检索

作者： Ayano Okoso, Keisuke Otaki, Satoshi Koide, Yukino Baba

发布时间： 2024-05-08

链接： http://arxiv.org/abs/2405.05061v1

摘要： 在推荐系统中，解释的呈现在支持用户的决策过程中起着至关重要的作用。尽管现有的许多研究都集中在解释内容的效果（透明度或说服力）上，但解释表达在很大程度上被忽视了。语气，如正式语气和幽默语气，与表达能力直接相关，是人类交流中的重要元素。然而，关于推荐系统背景下语气对解释的影响的研究还不够。因此，本研究通过在线用户研究，从感知效果、领域差异和用户属性三个方面探讨解释语气的效果。我们使用大型语言模型创建一个数据集，以生成电影、酒店和家居产品领域中各种语气的虚构项目和解释。收集的数据分析揭示了不同领域的音调的不同感知效果。此外，发现年龄和性格特征等用户属性会影响语气的影响。这项研究强调了语气在推荐系统解释中的关键作用，表明对语气的关注可以增强用户体验。

克服锚定偏差：人工智能和基于 XAI 的决策支持的潜力

分类： 计算机与社会, 人工智能, 人机交互, 机器学习, 普通经济学, 经济学

作者： Felix Haag, Carlo Stingl, Katrin Zerfass, Konstantin Hopf, Thorsten Staake

发布时间： 2024-05-08

链接： http://arxiv.org/abs/2405.04972v1

摘要： 信息系统（IS）经常被设计为利用锚定偏见的负面影响来影响个人的决策（例如，通过操纵购买决策）。人工智能 (AI) 的最新进展以及通过可解释的人工智能 (XAI) 对其决策的解释为减少有偏见的决策提供了新的机会。到目前为止，这些技术进步克服锚定偏差的潜力仍不清楚。为此，我们在购买决策的背景下对总共 N=390 名参与者进行了两项在线实验，以检验 AI 和基于 XAI 的决策支持对锚定偏差的影响。我们的结果表明，单独使用 AI 及其与 XAI 的结合有助于减轻锚定偏差的负面影响。最终，我们的研究结果对 AI 和基于 XAI 的决策支持和 IS 的设计具有影响，以克服认知偏差。

在分布式混合现实协作中组织大型团体的实践知情模式

分类： 人机交互

作者： Emily Wong, Juan Sánchez Esquivel, Jens Emil Grønbæk, Germán Leiva, Eduardo Velloso

发布时间： 2024-05-08

链接： http://arxiv.org/abs/2405.04873v1

摘要： 跨不同的分布式空间进行协作给计算机辅助空间通信带来了许多挑战。混合现实 (MR) 可以混合选定的表面，使协作者能够以混合的 f 形（面形）工作，即使他们的工作站在物理上未对齐。由于协作通常不仅仅涉及参与者对，因此本研究探讨了我们如何扩展 MR 体验以实现大型团体协作。为此，本研究招募了协作设计师 (CD) 来评估和重新构想大规模协作的 MR。这些 CD 参与了一项由四部分组成的用户研究，其中包括技术探索、半结构化访谈、推测性低保真原型制作活动和验证会议。本文的成果贡献了 (1) 一套协作设计原则，以激发未来计算机支持的协作工作，(2) 混合 f-formations 和大规模协作的八种协作模式，以及 (3) f-formations 和协作的理论意义空间与地点的关系。因此，这项工作为跨分布式空间扩展协作创建了蓝图。

产品推荐背景下感知语气、年龄和性别对语音助手说服力的影响

分类： 人机交互

作者： Sabid Bin Habib Pias, Ran Huang, Donald Williamson, Minjeong Kim, Apu Kapadia

发布时间： 2024-05-08

链接： http://arxiv.org/abs/2405.04791v1

摘要： 语音助手 (VA) 可以帮助用户完成各种日常任务，但许多用户不愿意依赖 VA 来完成在线购物等复杂的任务。本研究旨在探讨虚拟助理的声音特征是否可以作为说服用户并提高用户在线购物中虚拟助理的参与度的有效工具。先前的研究表明，感知到的声音语气、年龄和性别会影响感知到的说话者在人际交往中的说服力。此外，产品沟通的说服力已被证明会影响在线购物的购买决策。我们调查了 VA 声音的感知语气、年龄和性别特征的变化是否可以说服用户，并最终影响他们的购买决定。我们的实验研究表明，参与者更容易通过积极或中性语气的 VA 声音以及中年男性或年轻女性的声音做出购买决定。我们的结果表明，VA 设计师应该为用户提供轻松定制各种语气、年龄和性别的 VA 声音的能力。这种定制可以提高用户的舒适度和享受度，从而有可能提高用户与虚拟用户的参与度。此外，我们还讨论了道德说服的界限，强调保护用户利益免遭无理操纵的重要性。

Metaverse 调查和教程：探索关键要求、技术、标准、应用、挑战和前景

分类： 人机交互, 人工智能

作者： Danda B. Rawat, Hassan El alami, Desta Haileselassie Hagos

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04718v1

摘要： 在本文中，我们对元宇宙进行了全面的调查，并将其视为下一代互联网技术的变革维度。这项研究不仅概述了我们调查的结构组成部分，而且还通过阐明虚拟宇宙出现的基本概念做出了重大的科学贡献。我们通过定义关键特征和要求来分析其架构，从而阐明彻底改变数字交互的新生现实。我们的分析强调了在制定元宇宙标准方面协作努力的重要性，从而促进行业利益相关者、组织和监管机构之间的统一理解。我们将审查范围扩大到虚拟世界不可或缺的关键技术，包括互动体验、通信技术、普适计算、数字孪生、人工智能和网络安全措施。对于每个技术领域，我们严格评估当前的贡献、主要技术和代表性用例，对其潜在影响提供细致入微的视角。此外，我们还深入研究了虚拟宇宙在教育、医疗保健、商业、社交互动、工业部门、国防和关键任务运营方面的多样化应用，强调了其广泛的实用性。每个应用程序都经过彻底分析，展示其价值并解决相关挑战。该调查最后概述了持续存在的挑战和未来方向，提供了对充分利用虚拟宇宙潜力所需的基本考虑因素和策略的见解。通过这项详细的调查，我们的目标是阐明这篇调查论文的科学贡献，超越单纯的结构概述，以强调虚拟宇宙的变革意义。

迈向人类与人工智能的相互学习：一种新的研究范式

分类： 人机交互, 人工智能

作者： Xiaomei Wang, Xiaoyu Chen

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04687v1

摘要： 本文描述了一种研究人类与人工智能协作的新研究范式，称为“人类与人工智能相互学习”，定义为人类和人工智能体在人类与人工智能协作过程中保存、交换和改进知识的过程。我们描述了该范式下的相关方法、动机、领域示例、好处、挑战和未来的研究议程。

通过设计研究应对生成式人工智能技术：Ryelands 人工智能实验室的探索性研究

分类： 人机交互, 人工智能, 计算机与社会

作者： Jesse Josua Benjamin, Joseph Lindley, Elizabeth Edwards, Elisa Rubegni, Tim Korjakow, David Grist, Rhiannon Sharkey

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04677v1

摘要： 生成式人工智能技术需要新的实用和关键能力，这需要设计来响应和培养这些能力。我们提出了一项以研究设计为指导的探索性研究，其中我们与一所小学合作开发了以学生与生成人工智能技术互动为中心的建构主义课程。我们详细介绍了课程和学习材料的设计和产出，主要发现反思性和长期的“实践”方法导致了学生实践和批判能力的共同发展。通过这项研究，我们为生成式人工智能技术教育的建构主义方法的设计提供了指导；进一步主张要以“批判性的回应”来做到这一点。然后我们讨论人机交互研究人员如何利用建构主义策略来设计与生成人工智能技术的交互；并建议通过设计进行研究可以作为一种“快速响应方法”发挥重要作用，能够对快速发展的颠覆性技术（例如生成人工智能）做出反应。

揭示人类和 Web 代理之间 Web 任务处理的差异

分类： 人机交互

作者： Kihoon Son, Jinhyeon Kwon, DaEun Choi, Tae Soo Kim, Young-Ho Kim, Sangdoo Yun, Juho Kim

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04497v2

摘要： 随着大语言模型 (LLM) 和大视觉语言模型 (LVM) 的进步，智能体在数据分析、游戏或代码生成等各种任务中表现出了显着的能力。最近，对能够在网络环境中执行任务的网络代理的研究激增。然而，网络带来了不可预见的场景，挑战了这些代理的普遍性。本研究通过重点关注任务执行过程中的规划、行动和反思方面，调查人类和网络代理在网络任务（例如信息搜索）中的表现差异。我们使用有声思考协议进行了一项网络任务研究，揭示了人类在网站上的不同认知行为和操作。对现有代理结构和人类行为与思维过程的比较检查突出了执行任务时知识更新和歧义处理的差异。人类表现出根据附加信息探索和修改计划并调查失败原因的倾向。这些发现为网络代理的规划、反思和信息发现模块的设计以及网络任务中隐含人类知识的捕获方法的设计提供了见解。

在文本到图像模型的评估中实现地理包容性

分类： 计算机视觉和模式识别, 计算机与社会, 人机交互

作者： Melissa Hall, Samuel J. Bell, Candace Ross, Adina Williams, Michal Drozdzal, Adriana Romero Soriano

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04457v1

摘要： 文本到图像生成模型的快速进步及其在视觉内容创建中的部署放大了彻底评估其性能和识别潜在偏差的重要性。为了追求生成逼真、多样化、视觉上有吸引力且与给定提示一致的图像的模型，研究人员和从业者经常转向自动化指标来促进可扩展且经济高效的性能分析。然而，常用的指标往往无法考虑人类偏好的全部多样性；即使是深入的人类评估也常常面临主观性的挑战，特别是因为评估标准的解释因地区和文化而异。在这项工作中，我们进行了一项大型跨文化研究，以研究非洲、欧洲和东南亚的注释者对地理表征、视觉吸引力以及真实图像和生成图像的一致性的感知有多大差异。艺术公共 API。我们收集了超过 65,000 个图像注释和 20 份调查回复。我们将人工注释与常见的自动化指标进行对比，发现人类偏好在不同地理位置之间存在显着差异，并且当前的指标并未完全考虑到这种多样性。例如，不同地点的注释者对于某个地区的夸张、刻板描述是否具有地理代表性常常存在分歧。此外，自动评估的效用取决于对其设置的假设，例如特征提取器与人类对对象相似性的感知的一致性或用于基础评估的参考数据集中捕获的“吸引力”的定义。我们建议采取改进自动和人工评估的步骤。

大型语言模型无法解释自己

分类： 人机交互

作者： Advait Sarkar

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04382v1

摘要： 可以提示大型语言模型生成文本。还可以提示他们对其输出进行“解释”。但这些并不是真正的解释，因为它们没有准确反映预测背后的机械过程。认为它们反映了推理过程的错觉可能会导致重大伤害。这些“解释”可能很有价值，但只是为了促进批判性思维而不是为了理解模型。我建议对这些“解释”进行重新语境化，使用“外解释”一词来引起人们对其外生性质的关注。我讨论了对设计和技术的一些影响，例如在提示模型生成解释时包含适当的护栏和响应。

检测学习者参与度的通用模型：实施和评估

分类： 计算机视觉和模式识别, 人机交互, 机器学习

作者： Somayeh Malekshahi, Javad M. Kheyridoost, Omid Fatemi

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04251v1

摘要： 考虑学习者的参与对于学习者和教师来说都是互惠互利的。教师可以帮助学习者提高注意力、参与度、动机和兴趣。另一方面，教师可以通过评估所有学习者的累积结果并升级他们的培训计划来提高他们的教学绩效。本文提出了一种通用的轻量级模型，用于选择和处理特征来检测学习者的参与水平，同时保留随时间变化的顺序时间关系。在训练和测试期间，我们分析了公开可用的 DAiSEE 数据集中的视频，以捕捉学习者参与的动态本质。我们还提出了一种适应策略，以寻找利用该数据集与教育相关的情感状态的新标签，从而提高模型的判断力。建议的模型在具体实施中达到了 68.57% 的准确率，并且优于所研究的检测学习者参与水平的最先进模型。

当被问及当前上下文时，什么会影响用户回答的质量？

分类： 人机交互

作者： Ivano Bison, Haonan Zhao, Fausto Giunchiglia

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.04054v1

摘要： 传感器数据提供了对现实的客观看法，但无法捕捉个人行为背后的主观动机。后一个信息对于了解个人背景的各个维度至关重要，从而提高可预测性。主要限制是人工输入，其质量通常达不到所需的水平。到目前为止，工作重点是解决通常大量缺失的答案。本文的重点是\textit{回答问题时犯的错误数量}。本文的主要贡献有三点。首先，我们表明用户的反应时间，即开始响应之前的时间，是导致答案质量低的主要原因，其影响既有直接的，也有间接的，后者与其对完成时间的影响有关，即，编译响应所花费的时间。其次，我们确定了对反应时间以及完成时间有影响的特定外源（例如，情境或时间背景）和内源（例如，情绪、个性特征）因素。第三，我们展示反应和完成时间如何影响答案质量。本文最后提出了一系列可行的建议。

人机交互设计共同创作

分类： 人机交互

作者： Yimeng Liu

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.03999v1

摘要： 人机共创旨在将人类和人工智能的优势结合起来，取得超越个人能力的艺术成果。绘画、音乐和诗歌都有框架，但编舞的具体本质需要专门的方法。本文探讨了人工智能辅助编舞技术（例如，生成性构思、即兴体现）并分析了交互设计（人类和人工智能如何协作和沟通），以告知未来人类与人工智能编舞共创系统的设计考虑因素。

绘制草图然后生成：通过面向语言的代码草图提供增量用户反馈并指导 LLM 代码生成

分类： 人机交互, 计算和语言

作者： Chen Zhu-Tian, Zeyu Xiong, Xiaoshuo Yao, Elena Glassman

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.03998v1

摘要： 使用大型语言模型 (LLM) 制作代码生成或编辑的有效提示并不是一件容易的事。特别是，在提示制作过程中缺乏即时、稳定的反馈会阻碍有效的交互，因为用户只能在心里想象可能的结果，直到生成代码。作为回应，我们引入了面向语言的代码草图，这是一种交互式方法，在提示制作过程中以代码草图（即不完整的代码大纲）的形式提供即时、增量反馈。这种方法通过利用提示中固有的语言结构并应用经典的自然语言处理技术，将提示转换为代码草图。然后，该草图充当中间占位符，不仅可以预览预期的代码结构，还可以引导 LLM 实现所需的代码，从而增强人与 LLM 的交互。最后我们讨论了该方法的适用性和未来计划。

影响用户使用SORA意愿的因素

分类： 人工智能, 人机交互, 62P225

作者： Gustave Florentin Nkoulou Mvondo, Ben Niu

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.03986v1

摘要： Sora 承诺重新定义视觉内容的创建方式。尽管预测有很多好处，但用户愿意使用文本转视频 (T2V) 模型的驱动因素尚不清楚。这项研究扩展了技术接受和使用的扩展统一理论（UTAUT2），具有感知的现实性和新颖性价值。我们采用有目的抽样方法，收集了美国 940 名受访者的数据，并使用基于协方差的结构方程模型和模糊集定性比较分析 (fsQCA) 对样本进行了分析。研究结果表明，所有假设的关系都得到支持，感知现实主义成为最有影响力的驱动因素，其次是新颖性价值。此外，fsQCA 确定了导致使用意愿高低的五种配置，该模型表现出较高的预测有效性，有助于理论进步。我们的研究为开发人员和营销人员提供了宝贵的见解，为战略决策提供指导，以促进 T2V 模型的广泛采用。

我们建议中的错误：关于优化可衡量的危险

分类： 信息检索, 人机交互

作者： Omar Besbes, Yash Kanoria, Akshit Kumar

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.03948v1

摘要： 推荐系统很普遍，通过定制推荐，承诺将用户与他们喜欢的选项相匹配。为此，收集并使用参与度数据。大多数推荐系统都是基于排名的，它们根据预测的参与度对项目进行排名和推荐。然而，参与信号通常只是效用的粗略代表，因为后者的数据很少被收集或可用。本文探讨了以下问题：通过优化可衡量的代理，推荐系统是否面临效用严重不足的风险？如果是这样，如何提高很少衡量的效用呢？为了研究这些问题，我们引入了一个重复用户消费的模型，在该模型中，在每次交互时，用户在外部选项和推荐集中的最佳选项之间进行选择。我们的模型考虑了用户的异质性，大多数人喜欢“流行”内容，少数人喜欢“利基”内容。该系统最初缺乏对个人用户偏好的了解，但可以通过观察用户随时间的选择来了解它们。我们的理论和数值分析表明，优化参与度可能会导致重大的效用损失。相反，我们提出了一种实用程序意识策略，最初推荐流行内容和利基内容的混合。随着平台变得更具前瞻性，我们的效用意识政策实现了两全其美：同时实现近乎最优的效用和近乎最优的参与度。我们的研究阐明了推荐系统的一个重要特征；鉴于能够建议多个项目，人们可以进行重大探索，而不会导致参与度显着降低。通过推荐高风险、高回报的商品和热门商品，系统可以增强高实用性商品的发现，而不会显着影响参与度。

序贯实验中的协作智能：药物发现的人机循环框架

分类： 人工智能, 人机交互, 机器学习

作者： Jinghai He, Cheng Hua, Yingfei Wang, Zeyu Zheng

发布时间： 2024-05-07

链接： http://arxiv.org/abs/2405.03942v1

摘要： 药物发现是一个复杂的过程，涉及顺序筛选和检查大量分子以识别具有目标特性的分子。这一过程也称为序贯实验，由于搜索空间巨大、目标分子稀有以及有限数据和实验预算的限制而面临挑战。为了应对这些挑战，我们引入了用于药物发现顺序实验的人机交互框架。这种协作方法将人类专家知识与深度学习算法相结合，在指定的实验预算内增强目标分子的发现。所提出的算法处理实验数据，以向人类专家推荐有前途的分子和可以提高其性能的分子。人类专家保留基于这些建议及其领域专业知识的最终决策权，包括推翻算法建议的能力。我们使用真实世界数据将我们的方法应用于药物发现任务，发现它始终优于所有基线方法，包括那些仅依赖于人类或算法输入的方法。这证明了人类专家和算法之间的互补性。我们的研究结果为人类领域知识水平、元知识的重要性和有效的工作委托策略提供了重要见解。我们的研究结果表明，这样的框架可以通过充分利用人类和人工智能的优势，显着加速新疫苗和药物的开发。

反英雄：一种以道德为中心的方法来实现负责任的设计师意图

分类： 人机交互

作者： Shikha Mehta, Shruthi Sai Chivukula, Colin M. Gray, Ritika Gairola

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03674v1

摘要： 人机交互和设计研究人员设计、采用和定制了一系列以道德为中心的方法，以在设计过程中铭记价值观并支持道德决策。在这项正在进行的工作中，我们添加了这些资源，构建了一种以行动为中心的方式表达设计师意图的方法，鼓励考虑操纵性和以价值为中心的角色。反英雄是一套卡片组，允许设计师在设计构思/概念化、评估和道德对话期间有趣地扮演操纵性（反英雄）和以价值为中心（英雄）的角色。该卡片组包括十二张带有反英雄和英雄面孔的卡片，以及三张包含针对不同游戏模式的反思性问题的动作卡。除了创建反英雄卡牌组之外，我们还通过四组三名设计学生的游戏测试课程来描述卡牌组的评估和迭代。我们提出了反英雄对技术和设计教育和实践的影响。

社会技术堆栈：非共识亲密媒体中社会计算研究的机会

分类： 计算机与社会, 人机交互

作者： Li Qiwei, Allison McDonald, Oliver L. Haimson, Sarita Schoenebeck, Eric Gilbert

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03585v1

摘要： 非自愿亲密媒体 (NCIM) 涉及在未经所描绘的人同意的情况下分享私密内容，包括“报复色情”和露骨的深度伪造品。虽然 NCIM 在过去十年中受到了法律、心理学和传播领域的关注，但在计算机学术领域还没有得到充分的解决。本文通过将 NCIM 危害与促进这些危害的特定技术组件联系起来来解决这一差距。我们引入了社会技术堆栈，这是一个概念框架，旨在将技术堆栈映射到其相应的社会影响。社会技术堆栈使我们能够分析 NCIM 等社会技术问题，并指出计算研究的机会。我们为计算和社交计算社区提出了一个研究路线图，以阻止 NCIM 的实施，并通过构建和重建技术来支持受害者幸存者。

自旋波声音：纳米级自旋波的可听化作为参与和研究工具

分类： 人机交互

作者： Santa Pile, Oleg Lesota, Silvan David Peter, Christina Humer, Martin Gasser

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03506v1

摘要： 磁振子学是一个新兴的研究领域，致力于利用自旋波（磁振子）（纯磁波）进行信息传输和处理。自旋波是现代计算设备中电流的潜在替代品，这将使它们更加紧凑和节能。即使在物理学家中，这个领域仍然鲜为人知。此外，随着新测量技术和计算物理的发展，获得的磁数据变得更加复杂，在某些情况下包括3D矢量场和时间分辨率。这项工作提出了一种自旋波的视听表示方法，并讨论了其作为科学传播展览工具和可能的数据分析工具的用途。该作品还详细介绍了 2022 年年度国际数字艺术展 Ars Electronica Festival 上举办的此类展览的实例。

沉浸式学习环境中的行为分析：系统文献综述和研究议程

分类： 人机交互

作者： Yu Liu, Kang Yue, Yue Liu

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03442v1

摘要： 沉浸式技术在教育领域的快速发展增加了对分析沉浸式学习环境中学习者的特定行为模式的研究兴趣。考虑到对沉浸式技术的技术可供性和行为分析的教学可供性的研究仍然分散，本研究首先通过开发一个概念框架来做出贡献，该框架将学习要求、规范、评估和迭代合并到一个集成模型中，以识别学习效益以及沉浸式学习环境中行为分析的潜在障碍。然后，我们对所提出的概念框架进行了系统回顾，从过去 10 年 40 篇符合条件的文章中检索了有价值的经验证据。审查结果表明，（1）在制定沉浸式行为分析综合计划时，有必要充分准备显着的教学要求，以定义具体的学习阶段，设想预期的认知目标，并指定一套适当的学习活动。学习环境。 （2）研究人员可以通过考虑学习者、教学法、情境和表征四个维度的因素来定制独特的沉浸式实验实施。 （3）考虑到行为分析技术、研究主题和沉浸式技术特征的影响，沉浸式学习环境中构建的行为模式会有所不同。 (4)在沉浸式学习环境中使用行为分析面临着技术、实施和数据处理方面的多项挑战。这项研究还阐明了关键的研究议程，可以推动未来对沉浸式学习环境中行为分析的研究。

Telextiles：织物触觉的端到端远程传输

分类： 人机交互, 机器学习, 68T07, I.2.4

作者： Takekazu Kitagishi, Yuichi Hiroi, Yuna Watanabe, Yuta Itoh, Jun Rekimoto

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03363v1

摘要： 纺织品的触感对于确定服装的舒适度至关重要。对于远程使用，例如在线购物，用户无法实际触摸衣服的纺织品，因此很难评估其触觉。需要触觉传感和驱动装置来传输纺织品的触觉。传感设备需要识别不同的服装，即使使用手持式传感器也是如此。另外，现有的驱动装置只能呈现有限数量的已知图案，无法传递未知的纺织品触觉。为了解决这些问题，我们提出了 Telextiles，这是一种可以通过对比自我监督学习创建反映纺织品接近度的潜在空间，从而远程传输纺织品触觉的界面。我们通过二维图确认具有相似触觉特征的纺织品在潜在空间中彼此靠近。然后，我们将已知纺织品样本的潜在特征压缩为一维距离，并按距离顺序将 16 个纺织品样本应用到滚筒上。如果检测到未知纺织品，则旋转滚筒以选择具有最接近特征的纺织品。

捏捏触觉显示器：通过静电吸附改变触觉的布料

分类： 人机交互, 硬件架构, 74E25, B.0

作者： Takekazu Kitagishi, Hirotaka Hiraki, Hiromi Nakamura, Yoshio Ishiguro, Jun Rekimoto

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03358v1

摘要： 触觉显示器在增强 VR 和远程呈现的临场感方面发挥着重要作用。显示织物的触觉特性在时尚行业具有潜力，但在动态显示不同类型的触觉的同时保持其柔性特性存在困难。织物的振动触觉刺激是织物触觉特性的一个重要因素，因为它极大地影响了服装与皮肤摩擦时的感觉。为了动态改变振动触觉刺激，许多研究都使用了机械致动器。然而，当与织物结合时，致动器的刚度会损害织物的柔软特性。此外，由于这种致动器产生的振动被施加到单个点，因此不可能在织物的整个表面上提供均匀的触感，从而导致不均匀的触感。在这项研究中，我们提出了一种捏捏触觉显示器：一种通过控制静电吸附来改变触觉的导电布。通过控制施加在导电布上的电压和频率，可以动态地产生不同的触感。这使得可以创建一种触觉装置，其中触感被施加到整个织物，同时保持织物的薄而柔软的特性。因此，用户可以像平常触摸织物一样拿起并摩擦织物来尝试触觉。这种机制具有软材料动态触觉转变的潜力。

VACO：针对多动症儿童的治疗和激励虚拟机器人代理的多视角开发，用于集中注意力

分类： 人机交互

作者： Birte Richter, Ira-Katharina Petras, Anna-Lisa Vollmer, Ayla Luong, Michael Siniatchkin, Britta Wrede

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03354v1

摘要： 在这项工作中，我们提出了（i）人工智能如何通过虚拟机器人代理进行动机性注意力训练来支持注意力缺陷多动障碍（ADHD）儿童更好地集中注意力的治疗的新方法，以及（ii）不同的利益相关者都包含了他们的观点。因此，我们提出了三种参与方法来纳入不同利益相关者的观点。一项针对德国家长的在线调查（研究 I）旨在确定他们是否会使用软件来提高孩子的注意力、影响他们使用软件的态度以及软件必须满足哪些要求。大约一半的家长愿意使用软件来提高注意力。为了开发尽可能接近实践的软件，其中一名开发人员参加了针对多动症的强化培训，目的是测试哪些要素在技术上是可行的。随后，第一个原型被提交给临床医生（研究 II）以进行进一步的调整。与最终用户进行了第一次可行性测试（研究 III），以检查系统是否有效以及儿童和青少年是否可以使用它。如果系统能够适应从业者和最终用户的需求，注意力表现软件可以为治疗多动症提供多种机会。这个开发过程需要大量的时间和密切的跨学科合作。

透明对话式信息搜索的可解释性

分类： 信息检索, 人机交互

作者： Weronika Łajewska, Damiano Spina, Johanne Trippas, Krisztian Balog

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03303v1

摘要： 对数字信息的日益依赖需要对话式搜索系统的进步，特别是在信息透明度方面。虽然对话式信息搜索的先前研究集中在改进检索技术上，但挑战仍然在于生成从用户角度来看有用的响应。本研究探索了解释响应的不同方法，假设信息来源的透明度、系统置信度和限制可以增强用户客观评估响应的能力。通过探索解释类型、质量和呈现模式的透明度，本研究旨在弥合系统生成的响应和用户可验证的响应之间的差距。我们设计了一项用户研究来回答有关以下方面影响的问题：（1）解释的质量增强了对其有用性的响应；（2）向用户呈现解释的方式。对收集的数据的分析显示，用户对嘈杂的解释的评分较低，尽管这些分数似乎对响应的质量不敏感。解释呈现格式的不确定结果表明，它可能不是此设置中的关键因素。

评估虚拟现实中的眼动生物识别技术：VR 耳机和高端眼动仪收集数据集的比较分析

分类： 人机交互

作者： Mehedi Hasan Raju, Dillon J Lohr, Oleg V Komogortsev

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03287v1

摘要： 先前的研究表明，以 1000 Hz 记录的眼动数据可用于对个人进行身份验证。本研究利用支持眼动追踪 (ET) 的虚拟现实 (VR) 耳机 (GazeBaseVR) 的数据，探索基于眼动的生物识别 (EMB) 的有效性，并将其与使用高端眼部数据的性能进行比较跟踪器 (GazeBase) 已下采样至 250 Hz。该研究还旨在评估双眼和单眼眼球运动数据的生物识别潜力。 GazeBaseVR 数据集在双目配置中实现了 1.67% 的等错误率 (EER) 和 10^-4 错误接受率 (FAR) 时的错误拒绝率 (FRR) 22.73%。这项研究强调了从支持眼球追踪的 VR 耳机获得的数据的生物识别可行性。

时间序列中人在环异常检测的可靠框架

分类： 人机交互, 机器学习

作者： Ziquan Deng, Xiwei Xuan, Kwan-Liu Ma, Zhaodan Kong

发布时间： 2024-05-06

链接： http://arxiv.org/abs/2405.03234v1

摘要： 时间序列异常检测对于金融、医疗保健和工业系统等众多应用来说是一项关键的机器学习任务。然而，即使是高性能模型也可能会出现偏差等潜在问题，从而导致结果不可靠和信心缺失。虽然模型解释技术，特别是视觉解释，通过阐明其决策的模型归因来提供有价值的见解来检测此类问题，但仍然存在许多限制——它们主要基于实例，并且不可跨数据集扩展，并且它们提供来自该模型偏向人性化，缺乏用户解决检测到的问题的机制。为了弥补这些差距，我们引入了 HILAD，这是一种新颖的框架，旨在促进人类和人工智能之间的动态和双向协作，以增强时间序列中的异常检测模型。通过我们的可视化界面，HILAD 使领域专家能够大规模检测、解释和纠正意外的模型行为。我们对两个时间序列数据集和用户研究的评估证明了 HILAD 在促进更深入的人类理解、立即采取纠正措施和增强模型可靠性方面的有效性。

利用大型语言模型增强领域专家在数据科学工作流程中的包容性

分类： 人机交互

作者： Jasmine Y. Shih, Vishal Mohanty, Yannis Katsis, Hariharan Subramonyam

发布时间： 2024-05-03

链接： http://arxiv.org/abs/2405.02260v1

摘要： 领域专家可以在指导数据科学家优化机器学习模型方面发挥至关重要的作用，同时确保下游使用的上下文相关性。然而，在当前的工作流程中，由于不同的专业知识、抽象文档实践以及缺乏对低级实现工件的访问和可见性，这种协作具有挑战性。为了应对这些挑战并支持领域专家参与，我们引入了 CellSync，这是一个协作框架，包括 (1) Jupyter Notebook 扩展，可持续跟踪数据帧和模型指标的更改，以及 (2) 由大型语言模型支持的可视化仪表板，可解释这些更改领域专家。通过 CellSync 的单元级数据集可视化和代码摘要，领域专家可以交互式地检查单个数据和建模操作如何影响不同的数据段。聊天功能可以实现以数据为中心的对话，并为数据科学家提供有针对性的反馈。我们的初步评估表明，CellSync 提供了透明度，并促进了有关数据操作的意图和影响的批判性讨论。

外部智能体意图预测器在人类与人工智能协调中的应用

分类： 人机交互, 多代理系统

作者： Chenxu Wang, Zilong Chen, Angelo Cangelosi, Huaping Liu

发布时间： 2024-05-03

链接： http://arxiv.org/abs/2405.02229v1

摘要： 就团队计划达成共识对于人类与人工智能的协调至关重要。尽管之前的研究提供了通过各种方式进行通信的方法，但当人工智能没有可解释的通信计划时，仍然可能很难协调。为了弥补这一差距，我们建议结合外部模型来帮助人类理解人工智能代理的意图。在本文中，我们提出了一种两阶段范式，首先根据收集的目标智能体离线轨迹训练心智理论（ToM）模型，并通过实时显示未来在人机协作过程中利用该模型目标智能体的动作预测。这种范式使人工智能代理成为一个黑匣子，因此可用于改进任何代理。为了测试我们的范例，我们进一步实现了基于变压器的预测器作为 ToM 模型，并开发了一个扩展的在线人机协作实验平台。综合实验结果验证了人类人工智能团队在我们的模型的帮助下可以取得更好的表现。实验附带的用户评估进一步表明，我们的范例可以显着增强人类的态势感知。我们的研究展示了通过人类与人工智能协作的外部协助来增强人类能力的潜力，这可能会进一步激发未来的研究。

XLogoOnline环境下初级可视化编程的任务综合

分类： 人机交互, 计算机与社会

作者： Chao Wen, Ahana Ghosh, Jacqueline Staub, Adish Singla

发布时间： 2024-05-03

链接： http://arxiv.org/abs/2405.02173v1

摘要： 近年来，XLogoOnline编程平台受到新手学习者的欢迎。它将Logo编程语言与可视化编程相结合，为学习计算概念提供了可视化界面。然而，XLogoOnline 仅提供有限的任务集，不足以让学习者掌握需要充分练习的计算概念。为了解决这个问题，我们引入了 XLogoSyn，这是一种用于合成不同难度级别的高质量任务的新技术。给定参考任务，XLogoSyn 可以生成不同难度级别的练习任务，以满足不同学习者的不同需求和能力。 XLogoSyn 通过结合符号执行和约束满足技术来实现这一点。我们的专家研究证明了 XLogoSyn 的有效性。我们还将综合练习任务部署到 XLogoOnline 中，突出了这些综合练习任务的教育效益。

我们在该区域吗？探索基于脑电信号的同步心流体验检测特征和方法

分类： 人机交互

作者： Baiqiao Zhang, Xiangxian Li, Yunfan Zhou, Juan Liu, Weiying Liu, Chao Zhou, Yulong Bian

发布时间： 2024-05-03

链接： http://arxiv.org/abs/2405.02045v1

摘要： 当为了团队的目的执行相互依赖的个人任务时，同时的个人流程（同时流程）是实现共享团队流程的前提条件。检测同时流有助于更好地了解团队成员的状态，这对于优化多用户交互系统非常重要。然而，目前缺乏对同时流检测的客观特征和方法的探索。本研究基于团队合作中脑流机制以及基于脑电图（EEG）的个体流检测的研究，旨在探索与同步流相关的显着脑电特征，以及基于脑电信号的有效检测方法。首先，设计了一个两人同时流动任务，在此基础上我们构建了第一个同步流动的多脑电信号数据集。然后，我们探索可能与个体和同时血流相关的潜在脑电图信号特征，并使用各种机器学习模型验证其在同时血流检测中的有效性。结果表明：1）脑间同步特征与同时流相关，因为增强了模型检测不同类型同时流的性能； 2）在检测同时流时，来自额叶区域的特征似乎受到优先关注； 3）随机森林在二元分类中表现最好，而神经网络和深度神经网络3在三元分类中表现最好。

对抗性机器人检测仪：社交机器人检测的对抗性分析

分类： 社交和信息网络, 人工智能, 人机交互

作者： Shaghayegh Najari, Davood Rafiee, Mostafa Salehi, Reza Farahbakhsh

发布时间： 2024-05-03

链接： http://arxiv.org/abs/2405.02016v1

摘要： 社交机器人在许多在线社交网络 (OSN) 中发挥着重要作用，因为它们模仿人类行为。这一事实引发了关于他们的能力和潜在风险的难题。鉴于生成式人工智能 (GenAI) 的最新进展，社交机器人能够生成模仿人类创造力的高度真实且复杂的内容。随着恶意社交机器人的出现，用不切实际的内容来欺骗人们，识别它们并区分它们产生的内容已成为众多社交平台面临的实际挑战。文献中已经提出了解决这个问题的几种方法，但所提出的解决方案尚未得到广泛评估。为了解决这个问题，我们评估了基于文本的机器人检测器在竞争环境中的行为，其中提出了一些场景：\textit{First}，检查机器人和机器人检测器之间的拉锯战。分析哪一方更有可能获胜以及哪些情况影响这些期望是很有趣的。在这方面，我们将问题建模为合成对抗游戏，其中对话机器人和机器人检测器进行战略在线交互。 \textit{第二}，在社交机器人生成的攻击示例下评估机器人检测模型；为此，我们用攻击示例对数据集进行毒害，并评估这种情况下的模型性能。 \textit{最后}，为了研究数据集的影响，进行了跨域分析。通过使用两个基准数据集对不同类别的社交机器人进行综合评估，我们能够展示一些可以在未来工作中使用的成果。

使用 GenFrame（图像生成相框）人工智能生成的艺术感知

分类： 人机交互

作者： Peter Kun, Matthias Freiberger, Anders Sundnes Løvlie, Sebastian Risi

发布时间： 2024-05-03

链接： http://arxiv.org/abs/2405.01901v1

摘要： 图像生成模型正在改变我们在视觉艺术中表达自己的方式。然而，人们对人工智能生成艺术的看法在很大程度上仍未被探索，特别是与传统艺术相比。在本文中，我们介绍了一种交互式研究产品 GenFrame 的设计，它是一种图像生成相框，看起来像传统绘画，但为观看者提供了修改所描绘绘画的机构。在本文中，我们报告了一项研究，我们在传统艺术博物馆中部署了 GenFrame，并采访了参观者对人工智能艺术的看法。当人工智能生成的艺术激发人们的兴趣时，人们需要更多艺术家的背景故事和情感历程，以使艺术品与传统艺术相称。然而，当转动表盘可以改变绘画上的艺术风格或主题时，基于人工智能的生成式互动体验开辟了与艺术互动的新方式。可以在此处查看演示：https://youtu.be/1rhW4fazaBY。

LastPass 漏洞中人为因素的作用

分类： 人机交互, 密码学和安全

作者： Niroop Sugunaraj

发布时间： 2024-05-03

链接： http://arxiv.org/abs/2405.01795v1

摘要： 本文通过对 LastPass 漏洞的分析，探讨了网络攻击的复杂性。它主张将以人为本的考虑纳入网络安全措施中，重点关注目标导向行为、认知超载、人类偏见（例如乐观、锚定）和危险行为等缓解因素。对这一漏洞的分析结果支持了以下观点：解决网络防御的人力和技术层面可以显着增强网络系统抵御复杂威胁的弹性。这意味着保持平衡的方法，同时简化用户交互、让用户意识到偏见并阻止危险行为对于预防网络事件至关重要。

用于自动驾驶功能安全测试的系统数据采集和数据驱动仿真方法

分类： 机器人技术, 人工智能, 计算机视觉和模式识别, 人机交互, 机器学习

作者： Leon Eisemann, Mirjam Fehling-Kaschek, Henrik Gommel, David Hermann, Marvin Klemp, Martin Lauer, Benjamin Lickert, Florian Luettner, Robin Moss, Nicole Neis, Maria Pohle, Simon Romanski, Daniel Stadler, Alexander Stolz, Jens Ziehn, Jingxing Zhou

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01776v1

摘要： 随着道路交通及其操作设计领域 (ODD) 中自动驾驶功能的复杂性和重要性不断增加，对在虚拟环境中并通过仿真模型进行大部分开发、验证和验证的需求不断增加。然而，如果模拟不仅是为了增强现实世界的实验，而是为了取代它们，那么就需要定量方法来衡量模拟模型在多大程度上以及在什么前提条件下充分代表现实，从而相应地使用它们的结果。特别是在与“开放世界”的安全影响相关的研发领域，用于参数化和/或验证模拟的真实世界数据严重缺乏——尤其是关于人类交通参与者的行为，自动驾驶功能将影响他们的行为。在混合交通中相遇。我们提出了一种通过异构方式系统地获取公共交通数据，将其转换为统一表示，并用它自动参数化交通行为模型的方法，用于自动驾驶功能的数据驱动虚拟验证。

通过使用大型语言模型进行以集合为中心的信息搜寻来支持业务文档工作流程

分类： 人机交互

作者： Raymond Fok, Nedim Lipka, Tong Sun, Alexa Siu

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01501v1

摘要： 知识工作者通常需要从一组文档中提取和分析信息，以解决工作场所中的复杂信息任务，例如招聘经理审查简历或分析师评估合同中的风险。然而，在许多感兴趣的文档和标准中寻找相关信息可能会变得乏味且重复。我们介绍 Marco，一个混合倡议工作区，支持对不同业务文档集合进行意义构建。通过以收集为中心的协助，Marco 降低了提取和构建信息的认知成本，使用户能够优先考虑比较综合和决策过程。用户使用自然语言以交互方式向人工智能助手传达他们的信息需求，并编写提供文档集合概述的模式。可用性研究 (n=16) 的结果表明，使用 Marco 时，用户完成意义建构任务的速度提高了 16%，而且花费更少，而且准确性并没有降低。七位领域专家的设计探索确定了 Marco 如何使各种现实世界的工作流程受益。

设计算法建议以实现人机互补

分类： 人机交互, 机器学习, 计量经济学, 机器学习

作者： Bryce McLaughlin, Jann Spiess

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01484v1

摘要： 算法经常帮助而不是取代人类决策者。然而，算法的设计和分析通常侧重于预测结果，并没有明确模拟它们对人类决策的影响。鉴于经验证据表明算法助手一次又一次无法改善人类决策，算法助手的设计和角色之间的这种差异变得特别令人担忧。在本文中，我们形式化了推荐算法的设计，该算法可以帮助人类决策者，而无需对推荐如何影响决策做出限制性的事前假设。我们制定了一个算法设计问题，利用因果推理的潜在结果框架来模拟建议对人类决策者二元治疗选择的影响。在这个模型中，我们引入了单调性假设，可以对人类对算法的反应进行直观分类。在这种单调性假设下，我们可以根据人类对算法的遵守情况以及算法不发送推荐时他们将采取的决定来表达人类对算法建议的响应。我们通过模拟招聘任务的在线实验来展示我们框架的实用性。我们认为，我们的方法解释了实验中不同推荐算法的相对性能，并且可以帮助设计实现人类与人工智能互补的解决方案。

学生对在 HCI 教育中自主使用 GenAI 的反思

分类： 人机交互, K.3.1; K.3.2

作者： Hauke Sandhaus, Maria Teresa Parreira, Wendy Ju

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01467v1

摘要： 本研究探讨了学生在交互式系统设计课程中自主使用生成人工智能 (GenAI) 工具的情况。通过 12 次小组访谈，学生们揭示了 GenAI 的双重性质：(1) 激发创造力和 (2) 加速设计迭代，同时也担心其可能导致浅层学习和依赖。 GenAI 的优势在设计的执行阶段非常明显，有助于快速原型设计和构思，而其在初始洞察生成中的使用却给深度和反思实践带来了风险。这一反思强调了 GenAI 在人机交互教育中的复杂作用，强调需要平衡集成以利用其优势而不损害基本学习成果。

人机交互会话用户享受量表（HRI CUES）

分类： 机器人技术, 人机交互

作者： Bahar Irfan, Jura Miniota, Sofia Thunberg, Erik Lagerstedt, Sanna Kuoppamäki, Gabriel Skantze, André Pereira

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01354v1

摘要： 了解用户的享受对于人机交互 (HRI) 至关重要，因为它会影响交互质量并影响用户接受度以及与机器人的长期互动，特别是在与社交机器人对话的情况下。然而，当前的评估方法仅依赖于自我报告的问卷调查，无法捕捉互动动态。这项工作介绍了人机交互会话用户享受量表（HRI CUES），这是一种新颖的量表，用于从外部角度评估用户在与机器人对话期间的享受程度。该量表是通过三位具有相关专业知识的注释者的严格评估和讨论而制定的，提供了一个结构化框架，用于评估每次对话交流（轮流）的乐趣以及整体互动水平。它旨在补充用户自我报告的享受，并具有在实时 HRI 中自动识别用户享受的潜力。该量表在 25 名老年人与同伴机器人的开放域对话上得到了验证，该机器人由大型对话语言模型提供支持，相当于 174 分钟的数据，显示出中等至良好的一致性。此外，该研究还提供了了解评估用户在机器人交互中的乐趣的细微差别和挑战的见解，并提供了将该量表应用于其他领域的指南。

使用推土机距离量化 BCI 中的空间域解释

分类： 人机交互, 新兴技术, 机器学习

作者： Param Rajpura, Hubert Cecotti, Yogesh Kumar Meena

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01277v1

摘要： 脑机接口（BCI）系统促进了人与计算机之间的独特通信，使严重残疾的个人受益。尽管经过数十年的研究，脑机接口尚未完全融入临床和商业环境。评估和解释 BCI 性能至关重要，为潜在用户提供清晰的解释，以避免在未按预期工作时感到沮丧。这项工作利用脑电图 (EEG) 研究了不同深度学习和基于黎曼几何的分类模型在基于运动想象 (MI) 的 BCI 背景下的功效。然后，我们提出了一种基于最佳传输理论的方法，使用推土机距离（EMD）来量化特征相关性图与神经科学领域知识的比较。为此，我们利用可解释的人工智能（XAI）技术来生成空间域中的特征相关性，以识别模型结果的重要渠道。实现了三个最先进的模型 - 1）基于黎曼几何的分类器，2）EEGNet，3）EEG Conformer，并且在数据集上不同架构上观察到的模型准确性趋势与所提出的特征相关性相关指标。当在与运动想象相关的通道上进行训练时，具有不同架构的模型比数据驱动的通道选择表现得更好。这项工作重点关注可解释性的必要性以及纳入超越准确性的指标，强调了将领域知识和量化模型解释与数据驱动方法相结合在创建可靠且强大的脑机接口（BCI）方面的价值。

使用事后解释和领域知识优化脑电图解码

分类： 人机交互, 新兴技术

作者： Param Rajpura, Yogesh Kumar Meena

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01269v1

摘要： 运动想象过程中脑电图的解码对于脑机接口（BCI）系统至关重要，会显着影响其整体性能。随着端到端数据驱动学习方法的进步，挑战在于平衡模型复杂性与人类可解释性和信任的需求。尽管基于脑电图的脑机接口取得了长足的进步，但伪影和低信噪比等挑战凸显了模型透明度的持续重要性。这项工作建议使用事后解释来解释模型结果并根据领域知识对其进行验证。这项工作利用运动想象数据集上的 GradCAM 事后解释技术表明，仅依靠准确性指标可能不足以确保 BCI 性能和可接受性。使用数据集的所有 EEG 通道训练的模型达到了 72.60% 的准确率，而使用运动想象/运动相关通道数据训练的模型则下降了 1.75%，在统计上不显着。然而，根据神经生理学事实，两者的相关特征非常不同。这项工作表明，将特定领域的知识与 XAI 技术相结合，成为验证 BCI 模型结果的神经生理学基础的有前途的范例。我们的结果揭示了神经生理学验证在评估 BCI 性能方面的重要性，强调了在选择可靠且透明的 BCI 模型时完全依赖性能指标的潜在风险。

增强现实中的注意力和感觉处理：增强多动症人群的能力

分类： 人机交互

作者： Shiva Ghasemi, Majid Behravan, Sunday Uber, Denis Gracanin

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01218v1

摘要： 大脑的注意力系统是一个复杂且自适应的大脑区域网络，使个体能够与周围环境有效互动并执行复杂的任务。该系统涉及各个大脑区域的协调，包括前额皮质和顶叶，以处理和优先考虑感觉信息、管理任务和保持注意力。在这项研究中，我们研究了支撑大脑注意力系统的复杂机制，然后在增强现实 (AR) 设置的背景下进行了探索。 AR 作为一种可行的技术干预措施，可以解决注意力缺陷多动障碍 (ADHD) 患者面临的多方面挑战。鉴于 ADHD 的主要特征包括与注意力不集中、多动和冲动相关的困难，AR 提供了专门为缓解这些挑战并增强认知功能而设计的定制解决方案。另一方面，如果这些与多动症相关的问题没有得到充分解决，可能会导致他们的 AR 状况恶化。这强调了采用 AR 等有效干预措施来支持 ADHD 患者控制症状的重要性。我们研究了 AR 环境中的注意力机制以及 ADHD 人群中普遍存在的感觉处理动态。我们的目标是全面满足这一人群在 AR 设置中的注意力需求，并提供一个用于设计认知可访问的 AR 应用程序的框架。

A/B 测试如何改变社交网络上信息传播的动态

分类： 社交和信息网络, 人机交互

作者： Matteo Ottaviani, Stefan M. Herzog, Pietro Leonardo Nickl, Philipp Lorenz-Spreen

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01165v1

摘要： A/B 测试方法通常由私营公司执行，以提高用户对在线功能的参与度和满意度。它们的使用远非透明，可能会损害用户自主权（例如，个人意见两极分化、错误和虚假信息传播）。在我们的分析中，我们利用了一个关键的案例研究数据集（即 Upworthy），其中新闻标题被分配给用户并重新洗牌以优化点击。我们的重点是确定 A/B 测试如何以及在什么条件下影响集体层面上的内容分发，特别是在不同的社交网络结构上。为了实现这一目标，我们建立了一个基于代理的模型来再现社会互动和个人决策模型。我们的初步结果表明，A/B 测试对社交网络上信息传播的定性动态具有重大影响。此外，我们的建模框架有望嵌入推测性政策（例如推动、推动）干预措施。

消除风险，而不是举报：用于降低举报人重新识别风险的半自动文本清理工具

分类： 计算机与社会, 计算和语言, 人机交互, 信息检索, 软件工程, H.3; K.4; H.5; K.5; D.2; J.4

作者： Dimitri Staufer, Frank Pallas, Bettina Berendt

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01097v1

摘要： 举报对于确保公共和私营部门的透明度和问责制至关重要。然而，（潜在的）举报人常常害怕或面临报复，即使是匿名举报。他们披露的具体内容和独特的写作风格可能会重新将他们视为来源。欧盟 WBD 等法律措施的范围和有效性有限。因此，防止重新识别的计算方法是鼓励举报人挺身而出的重要补充工具。然而，当前的文本清理工具遵循一刀切的方法，并且对匿名性的看法过于有限。他们的目标是通过用占位符替换典型的高风险单词（例如人名和其他 NE 标签）及其组合来降低识别风险。然而，这种方法对于举报场景来说是不够的，因为它忽略了文本特征（包括写作风格）进一步重新识别的潜力。因此，我们提出、实施和评估一种新颖的分类和缓解策略，用于重写文本，其中涉及举报人评估风险和效用。我们的原型工具半自动评估单词/术语级别的风险，并应用风险适应的匿名化技术来生成语法脱节但经过适当清理的文本。然后，我们使用经过微调的大语言模型进行释义，以使文本连贯且风格中立。我们使用 ECHR 的法庭案例和现实世界举报人证词的摘录来评估我们工具的有效性，并使用流行的 IMDb62 电影评论数据集统计衡量针对作者归属 (AA) 攻击和效用损失的保护。我们的方法可以将 AA 准确率从 98.81% 显着降低到 31.22%，同时保留高达 73.1% 的原始内容语义。

HandSSCA：利用 RGB 图像的状态空间通道注意力进行 3D 手网格重建

分类： 计算机视觉和模式识别, 人工智能, 人机交互

作者： Zixun Jiao, Xihan Wang, Quanli Gao

发布时间： 2024-05-02

链接： http://arxiv.org/abs/2405.01066v1

摘要： 从单个 RGB 图像重建手部网格是一项具有挑战性的任务，因为手部经常被物体遮挡。之前的大多数工作都试图引入更多的附加信息并采用注意力机制来改善 3D 重建结果，但这会增加计算复杂度。这一观察结果促使我们提出一种新的、简洁的架构，同时提高计算效率。在这项工作中，我们提出了一种简单有效的3D手部网格重建网络HandSSCA，它是第一个将状态空间建模纳入手部姿势估计领域的网络。在网络中，我们设计了一种新颖的状态空间通道注意模块，该模块扩展了有效感觉场，提取空间维度上的手部特征，并增强了通道维度上的手部区域特征。这种设计有助于重建完整且详细的手部网格。在具有挑战性的手部物体遮挡（例如 FREIHAND、DEXYCB 和 HO3D）的知名数据集上进行的大量实验表明，我们提出的 HandSSCA 在保持最小参数数量的同时实现了最先进的性能。

“我不确定，但是......”：检查大型语言模型的不确定性表达对用户依赖和信任的影响

分类： 人机交互, 人工智能

作者： Sunnie S. Y. Kim, Q. Vera Liao, Mihaela Vorvoreanu, Stephanie Ballard, Jennifer Wortman Vaughan

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00623v1

摘要： 广泛部署的大型语言模型 (LLM) 可以产生令人信服但不正确的输出，可能会误导那些可能依赖它们的用户，就好像它们是正确的一样。为了减少这种过度依赖，有人呼吁大语言模型向最终用户传达他们的不确定性。然而，很少有实证研究来检验用户如何看待大语言模型表达的不确定性并采取行动。我们通过一项大规模、预先注册的人类受试者实验 (N=404) 来探索这个问题，在该实验中，参与者回答医学问题，无论是否可以访问虚构的大语言模型搜索引擎的响应。使用行为和自我报告的测量方法，我们研究了不确定性的不同自然语言表达如何影响参与者的依赖、信任和整体任务绩效。我们发现第一人称表达（例如，“我不确定，但是......”）会降低参与者对系统的信心和同意系统答案的倾向，同时提高参与者的准确性。一项探索性分析表明，这种增加可归因于对错误答案的过度依赖减少（但并未完全消除）。虽然我们观察到从一般角度表达的不确定性的类似影响（例如，“尚不清楚，但是......”），但这些影响较弱并且在统计上不显着。我们的研究结果表明，使用自然语言表达不确定性可能是减少对大语言模型过度依赖的有效方法，但使用的精确语言很重要。这凸显了在大规模部署大语言模型之前进行用户测试的重要性。

创始人的动机、目标和行动如何影响在线社区的早期轨迹

分类： 人机交互, 社交和信息网络

作者： Sanjay R. Kairam, Jeremy Foote

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00601v1

摘要： 在线社区为其成员提供各种好处，例如信息访问、社交和情感支持以及娱乐。尽管创始人在塑造社区方面发挥着重要作用，但之前的研究主要集中在驱动用户参与和贡献的因素上。创始人的动机和目标仍未得到充分探索。为了揭示在线社区的启动方式和原因，我们展示了对 951 名 Reddit 社区近期创始人的调查结果。我们发现，话题兴趣是创建社区最常见的动机，其次是交换信息、与他人联系和自我推销的动机。创始人对其新生社区有着不同的目标，但他们倾向于优先考虑社区质量和参与度，而不是纯粹的增长。创始人对其社区的早期态度的这些差异不仅有助于预测他们所追求的社区建设行动，还有助于预测其社区在前 28 天内吸引访问者、贡献者和订阅者的能力。最后我们讨论了对研究人员、设计师和在线社区创始人的影响。

使用 3D 动态场景图进行长期人体轨迹预测

分类： 机器人技术, 人机交互

作者： Nicolas Gorlo, Lukas Schmid, Luca Carlone

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00552v1

摘要： 我们提出了一种用于长期人类轨迹预测的新方法，这对于人类居住环境中的长视野机器人规划至关重要。最先进的人类轨迹预测方法因其关注避免碰撞和短期规划而受到限制，并且无法对人类与环境的复杂交互进行建模。相比之下，我们的方法通过预测人类与环境交互的序列并使用这些信息来指导长达 60 秒的轨迹预测，从而克服了这些限制。我们利用大型语言模型 (LLM) 来预测与环境的交互，通过根据有关场景的丰富上下文信息调节 LLM 预测。该信息以 3D 动态场景图的形式给出，它将环境的几何形状、语义和可遍历性编码为分层表示。然后，我们使用基于连续时间马尔可夫链的概率方法将这些交互序列转化为人类位置的多模态时空分布。为了评估我们的方法，我们引入了复杂室内环境中长期人类轨迹的新半合成数据集，其中还包括人与物体交互的注释。我们在彻底的实验评估中表明，与 60 秒时间范围内的最佳非特权基线相比，我们的方法的平均负对数似然 (NLL) 降低了 54%，Best-of-20 位移误差降低了 26.5%。

设计对在线信息评估实践、挑战和启发的社会和协作理解的影响

分类： 人机交互

作者： Vasilis Vlachokyriakos, Ian G. Johnson, Robert Anderson, Caroline Claisse, Viana Zhang, Pamela Briggs

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00519v1

摘要： 社交媒体平台（例如 TikTok）的广泛采用，加上生成式人工智能（GAI）技术的最新发展，对许多人自信地评估在线信息的准确性和含义的能力产生了变革性的影响。在本文中，基于最近揭示年轻人在线评估信息的社会方式的相关工作，我们探讨了年轻人在线信息评估中涉及的决策实践、挑战和启发法。为此，我们设计并进行了一项新颖的数字日记研究，然后对年轻人进行了基于数据的访谈。我们的研究结果揭示了年轻人的信息实践，包括忽略、避免和参与在线信息的社会和情感动机，以及这与以算法为代理的协作安排相结合的方式。在我们的讨论中，我们将这些发现与信息敏感性工作进行密切对话，并为年轻人在社会世界中的信息敏感性实践提供丰富的见解。最后，我们揭示了如何调整这些实践，以优先考虑福祉而不是便利性或其他常见相关的充足启发法。

通过自主超声扫描的具体智能增强手术机器人

分类： 机器人技术, 人工智能, 计算和语言, 人机交互

作者： Huan Xu, Jinlin Wu, Guanglin Cao, Zhen Lei, Zhen Chen, Hongbin Liu

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00461v1

摘要： 超声机器人越来越多地应用于医疗诊断和早期疾病筛查。然而，当前的超声机器人缺乏理解人类意图和指令的智能，阻碍了自主超声扫描。为了解决这个问题，我们提出了一种新颖的超声体现智能系统，为超声机器人配备大语言模型（LLM）和领域知识，从而提高超声机器人的效率。具体来说，我们首先设计了一个超声操作知识数据库，将超声扫描方面的专业知识添加到大语言模型中，使大语言模型能够执行精确的运动规划。此外，我们设计了一种基于 \textit{think-observe-execute} 提示工程的动态超声扫描策略，允许大语言模型在扫描过程中动态调整运动规划策略。大量实验表明，我们的系统通过口头命令显着提高了超声扫描效率和质量。自主医疗扫描技术的进步有助于无创诊断和简化医疗工作流程。

美国大选加剧了仇恨世界

分类： 社交和信息网络, 人机交互, 适应和自组织系统, 物理与社会

作者： Akshay Verma, Richard Sear, Neil F. Johnson

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00459v1

摘要： 地方或国家政治可能会引发某人潜在危险的仇恨。但仅在 2024 年，世界上就有三分之一的人口有资格在选举中投票，我们对个人层面的仇恨如何放大为全球集体层面的仇恨行为缺乏了解。在这里，我们根据最近的美国大选表明，线下事件与全球在线仇恨世界的快速适应相关，这种适应强化了其网络的网络结构和仇恨内容的“味道”。集体生产。仇恨社区中大约 5000 万潜在选民之间的距离越来越近，也越来越接近其他大约 20 亿人的广泛主流。它引发了围绕移民、种族和反犹太主义的新的大规模仇恨内容，这些内容与关于犹太人领导的替代的阴谋论相一致，然后又融入了围绕性别认同/性取向和宗教的仇恨。 Telegram 是一个关键的强化剂，但却被美国国会听证会和新的欧盟委员会所忽视。立法。由于仇恨世界自 2020 年以来一直保持强劲，因此不仅围绕即将到来的选举，而且围绕加沙战争等其他事件的反仇恨信息应该转向混合多种仇恨“口味”，同时针对以前未曾触及的社交媒体结构。

CultiVerse：通过大语言模型迈向绘画的跨文化理解

分类： 人机交互

作者： Wei Zhang, Wong Kam-Kwai, Biying Xu, Yiwen Ren, Yuhuai Li, Minfeng Zhu, Yingchaojie Feng, Wei Chen

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00435v1

摘要： 新技术与文化研究的结合增强了我们对文化遗产的理解，但往往难以与不同的受众建立联系。将个人解释与不同文化中的预期含义保持一致是具有挑战性的。我们的研究从跨文化的角度探讨了欣赏艺术的重要因素。我们探索大语言模型（LLM）的应用，以弥合理解中国传统绘画（TCP）的文化和语言障碍。我们推出了 CultiVerse，这是一个可视化分析系统，它在混合倡议框架内利用大语言模型，增强跨文化对话中对 TCP 的解释性欣赏。 CultiVerse 解决了翻译艺术中微妙象征主义的挑战，其中涉及解释复杂的文化背景、调整跨文化符号以及验证文化接受度。 CultiVerse 将交互式界面与大语言模型的分析能力相结合，以探索精心策划的 TCP 数据集，促进多方面象征意义的分析和跨文化偶然发现的探索。实证评估证实，CultiVerse 显着提高了跨文化理解，提供了更深入的见解和引人入胜的艺术欣赏。

学习虚拟现实中全向图像的高质量导航和缩放

分类： 人机交互, 人工智能, 计算机视觉和模式识别, 多媒体

作者： Zidong Cao, Zhan Wang, Yexin Liu, Yan-Pei Cao, Ying Shan, Wei Zeng, Lin Wang

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00351v1

摘要： 在虚拟现实 (VR) 中查看全向图像 (ODI) 代表了一种新颖的媒体形式，可为用户提供沉浸式体验，以导航数字内容并与之交互。尽管如此，这种沉浸感可能会因模糊效果而受到极大损害，模糊效果会掩盖细节并妨碍用户与感兴趣的对象互动的能力。在本文中，我们提出了一种名为 OmniVR 的新颖系统，旨在增强 VR 导航过程中的视觉清晰度。我们的系统使用户能够轻松定位并放大 VR 中感兴趣的对象。它捕获用户的导航和缩放命令，将这些输入转换为莫比乌斯变换矩阵的参数。利用这些参数，ODI 使用基于学习的算法进行改进。由此产生的 ODI 在 VR 媒体中呈现，有效减少模糊并提高用户参与度。为了验证我们系统的有效性，我们首先在公共数据集上使用最先进的方法评估我们的算法，该算法取得了最佳性能。此外，我们进行了全面的用户研究，以评估不同场景下的观看者体验，并从多个角度收集他们的定性反馈。结果表明，我们的系统通过提高观众的认知度、减少不适感和改善整体沉浸式体验来增强用户参与度。我们的系统使导航和缩放更加用户友好。

Google与ChatGPT：谁是大学生更好的帮手

分类： 人机交互

作者： Mengmeng Zhang, Xiantong Yang

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00341v1

摘要： 利用信息技术工具进行大学生学业求助已成为一种流行趋势。在新一代人工智能（GenAI）与传统搜索引擎的演进过程中，当学生面临学术挑战时，他们是更倾向于使用Google，还是更倾向于利用ChatGPT？影响学习者偏好使用 ChatGPT 寻求学术帮助的关键因素有哪些？这些相关问题值得关注。该研究采用混合方法研究设计来调查台湾大学生在线学术寻求帮助的偏好。结果表明，学生倾向于使用 ChatGPT 寻求学术帮助，反映出 GenAI 在教育领域的潜在受欢迎程度。此外，在比较七种机器学习算法时，随机森林和 LightGBM 算法表现出了优越的性能。这两种算法被用来评估 18 个潜在因素的预测能力。研究发现，GenAI 流畅度、GenAI 扭曲度和年龄是影响大学生寻求学术帮助的核心因素。总体而言，本研究强调教育工作者应优先培养学生的批判性思维能力，而技术人员应提高ChatGPT和Google搜索的流畅性和可靠性，并探索聊天和搜索功能的整合以达到最佳平衡。

用多种生理信号表征信息寻求过程

分类： 信息检索, 人机交互, H.5; H.3.3; C.3

作者： Kaixin Ji, Danula Hettiachchi, Flora D. Salim, Falk Scholer, Damiano Spina

发布时间： 2024-05-01

链接： http://arxiv.org/abs/2405.00322v1

摘要： 信息访问系统变得越来越复杂，我们对信息查找过程中用户行为的理解主要来自定性方法，例如观察研究或调查。利用传感技术的进步，我们的研究旨在用生理信号来表征用户行为，特别是与认知负荷、情感唤醒和效价相关的行为。我们对 26 名参与者进行了一项对照实验室研究，并收集了包括皮电活动、光电体积描记图、脑电图和瞳孔反应在内的数据。本研究考察了信息搜索的四个阶段：信息需求的实现（IN）、查询制定（QF）、查询提交（QS）和相关性判断（RJ）。我们还包括不同的交互方式来表示现代系统，例如通过文本键入或语言表达的 QS，以及通过文本或音频信息的 RJ。我们分析这些阶段的生理信号，并报告成对非参数重复测量统计测试的结果。结果表明，参与者在 IN 时会经历明显更高的认知负荷，警觉性略有增加，而 QF 则需要更高的注意力。 QS 比 QF 涉及更高的认知负荷。 RJ 的情感反应比 QS 或 IN 更明显，这表明随着知识差距的解决，人们的兴趣和参与度更高。据我们所知，这是第一项采用更细致的生理信号定量分析来探索搜索过程中用户行为的研究。我们的研究结果为信息搜索过程中的用户行为和情绪反应提供了有价值的见解。我们相信我们提出的方法可以帮助描述更复杂的过程，例如对话式信息搜索。