Magic Soup（OXE 数据配方）

Octo、OpenVLA 预训练时从 OXE 挑选并加权混合子数据集的配方

Magic Soup 是一份机器人数据混合配方的叫法，名字来自 Octo 代码库的配置 oxe_magic_soup。Open X-Embodiment（OXE，多机构汇集的跨本体机器人数据集）里各子数据集的规模、质量、机器人和相机差别很大，直接混在一起并不好用。Octo（2024）的训练混合取了其中 25 个数据集、约 80 万条轨迹，权重基本按样本数分配，再把场景和任务更丰富的翻倍、重复片段多的降权。OpenVLA 沿用这套权重，代码里另有加入 DROID 的扩展版 Magic Soup++，共约 97 万条演示。它不是新数据，而是「选哪些、各占多少」的经验配方，Octo 论文也承认还缺乏系统分析。

例子OpenVLA 的训练混合里 Fractal（RT-1 数据）和 Kuka 各占约 12.7%，UCSD Kitchen 不到 0.1%；DROID 以 10% 的权重加入，因学得慢在最后三分之一训练中被移除。

也叫

oxe_magic_soup、Open-X Magic Soup、Magic Soup++、oxe_magic_soup_plus

相关

Open X-Embodiment 数据集、数据配比、Octo、OpenVLA、DROID 数据集、RLDS 格式

来源

octo-models/octo: oxe_dataset_mixes.py (GitHub)
Octo: An Open-Source Generalist Robot Policy (arXiv 2405.12213)
OpenVLA: An Open-Source Vision-Language-Action Model (arXiv 2406.09246)

信息截至

2024-06