代码即策略

让大语言模型直接写 Python 程序，调用感知和控制接口来指挥机器人

谷歌机器人团队（Robotics at Google）2022 年 9 月发布。此前用大语言模型控制机器人，多是让模型从固定技能列表里挑下一步，如 SayCan。代码即策略让擅长写代码的大模型根据自然语言指令直接生成 Python 程序：调用物体检测等感知接口拿到位置，用 NumPy 算坐标，再调用抓取、移动等控制原语，还能写循环和条件判断；遇到未定义的函数就递归地再生成，即分层代码生成。这样能处理需要空间推理、要给出具体数值的模糊指令。论文在桌面操作、白板绘画和移动机器人上做了演示，大模型写代码驱动机器人的思路在后来的 VoxPoser、Eureka 中也能看到。

例子指令「把积木在靠近顶部的位置排成一条横线」，模型生成的代码先检测所有积木位置，算出桌面上方一排等间距目标点，再逐个调用抓取放置函数。

也叫

Code as Policies

相关

大语言模型、SayCan、大模型任务规划、VoxPoser、Eureka、原子技能

来源

Code as Policies (arXiv 2209.07753)
Code as Policies 项目主页

信息截至

2022-09