RoboCat

DeepMind 基于 Gato 的跨本体操作智能体，能自己生成数据迭代变强

RoboCat 是 Google DeepMind 在 2023 年 6 月发布的机器人操作智能体，架构沿用多模态通用模型 Gato，是一个以目标图像为条件的决策 Transformer：给它一张「任务完成后的样子」，它输出动作。它在多种真实和仿真机械臂的数百万条轨迹上训练，能处理观测和动作格式不同的机器人。最大特点是「自我提升」循环：新任务先用 100–1000 条人类演示微调出专用版本，让它自己练约 1 万次产生新数据，再把这些数据并入训练集重训通用模型。据 DeepMind 博客，后期版本在新任务上的成功率从 36% 提到 74%。它是较早证明跨本体数据能加快学新技能的代表工作。

例子RoboCat 在几小时内学会操作一台换成三指夹爪的新机械臂，用 1000 条演示后抓取齿轮的成功率达到 86%。

相关

Gato、决策 Transformer、跨本体、自我提升、目标条件策略、谷歌 DeepMind

来源

arXiv 2306.11706: RoboCat
Google DeepMind 博客：RoboCat

信息截至

2023-12