Open X-Embodiment 数据集

谷歌牵头汇总 22 种机器人、100 多万条真机轨迹的开源数据集。

Open X-Embodiment（OXE）是 2023 年 10 月由谷歌 DeepMind 牵头、21 家机构合作发布的跨本体机器人数据集，把 34 个实验室已有的 60 个数据集整理成统一的 RLDS 格式（谷歌提出的按回合存储机器人数据的格式），共 100 多万条真机轨迹、22 种机器人本体、527 种技能。此前各家的数据格式和动作定义不一，很难合并训练。团队在其上训练了 RT-1-X 和 RT-2-X：在数据较少的机器人上，RT-1-X 的成功率平均比只用该机器人自己数据训练的模型高约 50%，说明混合多种机器人的数据能互相帮忙。OXE 随后成为 Octo、OpenVLA 等开源通用策略的主要预训练数据。

例子RT-2-X 用 OXE 混合数据训练后，在涌现技能（谷歌机器人自己的数据里没有、要从别家机器人数据里学来的技能）评测上的成功率约为只用谷歌自家数据的 RT-2 的 3 倍。

也叫

OXE、Open X、RT-X 数据集

相关

跨本体数据、RT-X、RLDS 格式、Octo、OpenVLA、Magic Soup（OXE 数据配方）

来源

Open X-Embodiment: Robotic Learning Datasets and RT-X Models（项目主页）
google-deepmind/open_x_embodiment（GitHub）

信息截至

2023-10