OmniH2O

CMU 2024 年的人形全身遥操作系统，VR、相机、语音、GPT-4o 都能统一驱动机器人。

OmniH2O 是卡内基梅隆大学和上海交通大学的 Tairan He、Zhengyi Luo、Guanya Shi 等人 2024 年 6 月提出的人形机器人全身遥操作与学习系统，发表于 CoRL 2024，是同组 H2O 的升级版。核心设计是把「运动学位姿」（身体关键部位的位置和朝向）当作统一控制接口：无论指令来自 VR 头显、RGB 相机、语音还是 GPT-4o，都先转成目标位姿，再交给同一个全身控制策略跟踪。该策略在仿真里用强化学习训练：先对 AMASS 人体动作数据做大规模重定向和扩充，训练使用特权信息（只有仿真里才拿得到的完整状态）的教师策略，再蒸馏成只用稀疏传感器输入、能上真机的学生策略。平台是配灵巧手的宇树 H1。团队还发布了首个人形全身控制数据集 OmniH2O-6（6 个日常任务），并用扩散策略从中学出自主技能。

例子自主打拳：把机器人头部相机的画面交给 GPT-4o，提示词规定看到蓝色靶子出左拳、红色靶子出右拳、没有靶子就不动，GPT-4o 每次只回答 A、B 或 C，OmniH2O 的全身策略再把选中的动作做出来。

也叫

Omni Human-to-Humanoid

相关

H2O（人到人形）、全身遥操作、教师-学生蒸馏、特权信息、动作重定向、HumanPlus

来源

OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning (arXiv 2406.08858)
OmniH2O 项目主页

信息截至

2024-11