本体差异
Embodiment Gap常用不同机器人之间、人与机器人之间在外形、结构和动作方式上的差别。
本体指智能体的身体,包括外观、自由度、运动学结构、手或夹爪的形态、传感器位置和控制接口。本体差异就是两种身体之间的这些不同:换一台机械臂,关节数和动作空间都可能变;人手有五指,很多机器人只有二指夹爪。它是跨本体学习和利用人类视频的核心障碍:在 A 身体上采的数据或训练的策略,往往不能直接用在 B 身体上。常见对策有:统一动作空间或给每种本体加专属输出头;用动作重定向把人手动作映射到机器人关节;在画面上做替换,如 Mirage 把目标机器人抹掉换成源机器人,Phantom(CoRL 2025)把人类视频中的手臂抹掉再叠上渲染的机器人。
例子用人拿杯子的第一人称视频训练机器人:训练画面里是人手,部署时相机看到的是金属夹爪;人手能捏住的细杯柄,二指夹爪也未必能用同样方式夹住。
- 也叫
- 具身鸿沟、本体鸿沟、形态差异、Cross-embodiment Gap
- 相关
- 跨本体、本体、统一动作空间、动作重定向、人类视频数据、跨本体图像替换
- 来源
- Phantom: Training Robots Without Robots Using Only Human Videos (arXiv 2503.00779)
Mirage: Cross-Embodiment Zero-Shot Policy Transfer with Cross-Painting (arXiv 2402.19249)