UMI on Legs

UMI on Legs: Making Manipulation Policies Mobile with Manipulation-Centric Whole-body Controllers进阶

用手持夹爪采的人类演示训练操作策略，再搬到带机械臂的四足机器狗上执行。

斯坦福与哥伦比亚大学宋舒然团队（Huy Ha、Yihuai Gao 等）2024 年 7 月发表的 CoRL 2024 论文，硬件是一台宇树 Go2 四足背上装一条 ARX5 六轴机械臂。做法分两半：操作技能用 UMI 手持夹爪（装了 GoPro 的夹子，采数据不需要机器人）在真实世界采演示，训练扩散策略；腿和臂的协调交给仿真里用强化学习训练的全身控制器（同时驱动腿和臂的底层控制器）。两者之间只传「任务坐标系下的末端轨迹」，所以为固定底座机械臂训练的策略也能直接装到机器狗上用。论文在扔球、推壶铃、摆杯子三类任务上成功率都超过 70%。