本体专属头
Embodiment-specific Head进阶跨本体模型里为每种机器人单独配的输出层,把共享特征转成该机器人的动作。
不同机器人的状态和动作维度各不相同:单臂加夹爪可能是 7 维,双臂加灵巧手可能有几十维。跨本体模型通常让大部分参数共享,只在输入和输出两端为每种本体配一个小网络,输出端这一块就叫本体专属头,一般是一个 MLP 或小型解码器,负责把共享主干的表征映射成该本体对应维度和含义的动作。MIT 与 Meta 的 Lirui Wang、何恺明等人 2024 年提出的异构预训练 Transformer(HPT)采用「本体专属 stem + 共享主干 + 本体专属头」的设计;英伟达 GR00T N1 也为每种本体配 MLP 编码状态和动作,并用专属动作解码器输出。另一条路线是统一动作空间,把所有本体的动作填进同一个大向量。
例子GR00T N1 在最后一个 DiT 模块之后接一个本体专属的 MLP 动作解码器输出动作,从而用同一个主干控制从桌面机械臂到带灵巧手的人形机器人等不同本体。
- 也叫
- 本体特定输出头、本体专属解码器、Embodiment-specific Decoder
- 相关
- 跨本体、动作头、统一动作空间、异构预训练 Transformer、GR00T N1 系列、本体
- 来源
- Scaling Proprioceptive-Visual Learning with Heterogeneous Pre-trained Transformers (HPT, arXiv:2409.20537)
GR00T N1: An Open Foundation Model for Generalist Humanoid Robots (arXiv HTML)