Octo

2024 年开源的通用机器人策略，在 80 万条跨本体轨迹上预训练，可快速微调到新机器人。

Octo 由 UC Berkeley、斯坦福、CMU 和 Google DeepMind 研究者组成的 Octo Model Team 于 2024 年 5 月发布，发表于 RSS 2024。它是基于 Transformer 的通用策略，在 Open X-Embodiment（多家机构汇集的跨本体机器人数据集）的 25 个子数据集、约 80 万条轨迹上预训练，有 Octo-Small（2700 万参数）和 Octo-Base（9300 万参数）两个版本。任务可以用语言指令，也可以用一张目标图像指定；Transformer 主干读入任务和观测 token，再由扩散动作头输出连续动作，能表达多峰的动作分布。它的重点是开放和好改：代码、权重、训练流程全部公开，输入输出模块化，在消费级 GPU 上几小时就能微调到新的传感器和动作空间。在 6 个微调评测场景上平均比次优基线高 52%，后来常被 OpenVLA 等工作拿来做对比基线。

例子在「Berkeley Bimanual」任务里，只在单臂数据上预训练的 Octo 被微调到由两条 ViperX 机械臂组成的 ALOHA 双臂平台：右手从桌上拿起记号笔、左手拔下笔帽，动作空间也换成了关节位置控制。

也叫

Octo-Small、Octo-Base

相关

Open X-Embodiment 数据集、通用策略（通才策略）、扩散动作头、跨本体、OpenVLA、RT-X

来源

Octo: An Open-Source Generalist Robot Policy (arXiv 2405.12213)
Octo 项目主页
RSS 2024 论文页（Robotics: Science and Systems XX, p090）

信息截至

2024-07