EmbodiedGPT

2023 年港大与上海 AI Lab 的具身多模态模型，用思维链生成分步计划。

EmbodiedGPT 由香港大学、上海人工智能实验室等于 2023 年 5 月发布，发表于 NeurIPS 2023，是大模型用于具身规划的早期代表作之一。作者从 Ego4D 第一人称视频里挑选片段，用思维链的形式标注成一步步的子目标，构建了规划数据集 EgoCOT；再用前缀微调把一个 7B 语言模型适配到这类数据上，让它看图后输出分步计划。关键设计是把语言模型生成的规划当作查询，从图像中提取与任务相关的特征交给底层策略网络，把高层规划和低层控制连成闭环。

例子在 Franka Kitchen 和 Meta-World 仿真控制任务上，EmbodiedGPT 的成功率分别是用 Ego4D 微调的 BLIP-2 基线的 1.6 倍和 1.3 倍。

相关

具身思维链、思维链、第一人称视频、Ego4D 数据集、大模型任务规划、Franka Kitchen

来源

EmbodiedGPT: Vision-Language Pre-Training via Embodied Chain of Thought (arXiv 2305.15021)
NeurIPS 2023 论文页

信息截至

2023-12