数据配比

多来源数据混合训练时，每个来源各占多大比重。

数据配比指把不同来源的数据（不同机器人、不同任务、仿真与真机、网页图文、人类视频）混在一起训练时，决定每一类被抽到的频率。各来源条数相差很大，直接按条数混，大数据集会压过小数据集；权重调得不好，模型又会偏科。常见做法：人工定权重，如 Octo、OpenVLA 在 Open X-Embodiment 上手调的配方（俗称 Magic Soup）；π0 按 n^0.43 给每个「任务-机器人」组合加权（n 是该组合的样本数），压低数据过多的组合；斯坦福的 Re-Mix 用分布鲁棒优化自动学权重，论文报告比均匀权重平均提升 38%。配比还常随训练阶段变化，预训练偏多样，后训练偏高质量。

例子π0 的预训练数据中 9.1% 来自 OXE、Bridge v2、DROID 等开源数据集，其余来自自家采集，再按 n^0.43 规则给每个任务-机器人组合加权。

也叫

数据配方、数据混合比例、Data Recipe、数据混合权重、Data Mixture Weights

相关

Magic Soup（OXE 数据配方）、协同训练、异构数据、跨本体数据、数据筛选、Open X-Embodiment 数据集

来源

Re-Mix: Optimizing Data Mixtures for Large Scale Imitation Learning (arXiv 2408.14037)
π0: A Vision-Language-Action Flow Model for General Robot Control (arXiv 2410.24164)

信息截至

2024-10