异构数据

来自不同机器人、传感器、采集方式，格式和含义都不统一的数据。

机器人数据的「异构」体现在好几层：本体不同（单臂、双臂、人形，关节数和动作空间各不相同）、传感器不同（相机数量和视角、有无深度或触觉）、控制方式不同（关节角还是末端位姿、控制频率高低），来源也不同（真机遥操作、仿真、人类视频）。单个实验室的数据太少，想训练通用策略就得把这些数据混在一起用，但直接拼接会让模型分不清同一个数字在不同机器人上代表什么。常见做法是给每种本体配专属的输入编码和输出头、中间共享一个大主干，比如何恺明团队的 HPT 用这种结构汇集了 52 个数据集；也有工作把动作统一到一个公共空间，或按来源调数据配比。Open X-Embodiment 汇集了 22 种机器人的数据，是典型的异构数据集。

例子HPT 把真机、多种仿真器、人类视频共 52 个数据集放进同一个预训练，每种本体用各自的「stem」把视觉和本体感知压成少量 token，再送入共享的 Transformer 主干。

也叫

多源异构数据

相关

跨本体数据、跨本体、异构预训练 Transformer、统一动作空间、本体专属头、数据配比

来源

Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers (arXiv)
Open X-Embodiment: Robotic Learning Datasets and RT-X Models (arXiv)