2024-02

无提示的思维链推理

分类： 计算和语言

作者： Xuezhi Wang, Denny Zhou

发布时间： 2024-02-15

链接： http://arxiv.org/abs/2402.10200v2

摘要： 在增强大语言模型（LLM）的推理能力方面，先前的研究主要集中在特定的提示技术上，例如少样本或零样本思维链（CoT）提示。这些方法虽然有效，但通常涉及手动密集型提示工程。我们的研究采用了一种新颖的方法，提出了这样的问题：大语言模型能否在没有提示的情况下有效推理？有趣的是，我们的研究结果表明，只需改变 \textit{decoding} 过程，就可以从预先训练的 LLM 中导出 CoT 推理路径。我们不是采用传统的贪婪解码，而是研究 top-$k$ 替代标记，发现 CoT 路径通常是这些序列中固有的。这种方法不仅绕过了提示的混杂因素，而且还允许我们评估大语言模型的 \textit{内在} 推理能力。此外，我们观察到解码路径中 CoT 的存在与模型解码答案的较高置信度相关。该置信度度量有效区分 CoT 和非 CoT 路径。对各种推理基准的广泛实证研究表明，所提出的 CoT 解码有效地从语言模型中引出了推理能力，而这些能力以前被标准贪婪解码所掩盖。

具有基础模型的机器人学调查：迈向嵌入式人工智能

分类： 机器人技术, 人工智能

作者： Zhiyuan Xu, Kun Wu, Junjie Wen, Jinming Li, Ning Liu, Zhengping Che, Jian Tang

发布时间： 2024-02-04

链接： http://arxiv.org/abs/2402.02385v1

摘要： 虽然对实体人工智能的探索已经跨越了数十年，但赋予智能体人类水平的智能，包括感知、学习、推理、决策、控制和泛化能力，使其能够执行通用目的，仍然是一个持续的挑战开放、非结构化和动态环境中的任务。计算机视觉、自然语言处理和多模态学习的最新进展表明，基础模型对于特定任务具有超人的能力。它们不仅为将基本模块集成到具体的人工智能系统中提供了坚实的基石，而且还阐明了如何从方法论的角度扩大机器人学习。这项调查旨在提供机器人技术基础模型的全面且最新的概述，重点关注自主操作并涵盖高层规划和低层控制。此外，我们还展示了他们常用的数据集、模拟器和基准测试。重要的是，我们强调了该领域固有的关键挑战，并描绘了未来研究的潜在途径，有助于推进学术和工业话语的前沿。