Inner Monologue

把环境反馈写成文字喂回大语言模型，让机器人边做边调整计划

谷歌机器人团队（Robotics at Google）的 Wenlong Huang、Fei Xia、Brian Ichter 等 2022 年 7 月发布，发表于 CoRL 2022。当时 SayCan 等工作已用大语言模型把高层指令拆成技能序列，但计划一次定下，执行中出错模型并不知道。Inner Monologue 不做额外训练，把多种反馈用自然语言写回 LLM 的提示：技能是否成功（成功检测）、场景里有什么（被动或主动场景描述）、人的补充指令，形成一段「内心独白」，让 LLM 据此决定下一步、重试或改计划。在仿真和真实桌面物体重排、真实厨房长程移动操作三个场景中，闭环语言反馈都明显提高了指令完成率。它是用 LLM 做机器人闭环规划的早期代表。

例子例如机器人抓取失败时，成功检测器写回「动作失败」，LLM 读到后安排重新抓取，而不是直接执行下一步。

也叫

内心独白

相关

SayCan、大模型任务规划、成功检测器、闭环、长程任务、代码即策略

来源

Inner Monologue (arXiv 2207.05608)
Inner Monologue project page
Inner Monologue (PMLR v205, CoRL 2022)

信息截至

2022-12