EgoMimic

EgoMimic: Scaling Imitation Learning via Egocentric Video进阶

用 Aria 眼镜采人手数据、与机器人数据联合训练同一个策略的框架。

佐治亚理工 Danfei Xu 团队 2024 年提出的模仿学习框架。人戴 Project Aria 眼镜做任务，眼镜录下第一人称视频和 3D 手部轨迹；另配一台特意设计得接近人手臂运动学的低成本双臂机器人。训练时把人手轨迹和机器人动作做统一的归一化，对画面中的人手和机械臂加遮罩以减小外观差异，再用同一个策略网络协同训练。实验中它在长程、单臂和双臂任务上优于只用机器人数据的模仿学习方法，还能泛化到新场景，并发现多加 1 小时人手数据比多加 1 小时机器人数据更有用。它是用便宜的人类第一人称数据替代部分遥操作数据这条路线的代表，同一团队后来牵头了 EgoVerse 数据平台。