LM-Nav

LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action进阶

把 GPT-3、CLIP 和视觉导航模型拼起来，让机器人按自然语言指令导航。

LM-Nav 是 Dhruv Shah、Brian Ichter、Sergey Levine 等人 2022 年 7 月发布的工作，发表于 CoRL 2022。用语言指挥机器人导航，通常需要大量带文字说明的轨迹数据，标注很贵。LM-Nav 不做任何微调、不用语言标注的机器人数据，而是组合三个现成的预训练模型：大语言模型 GPT-3 把指令拆成一串地标；图文模型 CLIP 判断机器人拍到的画面对应哪个地标；视觉导航模型 ViNG 用过去采集的图像建立环境拓扑图并执行到点策略。系统再搜索出按顺序经过这些地标的最短路线。它在真实户外环境完成了长距离导航，是用基础模型拼装机器人系统这一思路的早期代表。