MimicPlay

MimicPlay: Long-Horizon Imitation Learning by Watching Human Play进阶

先看人手随意玩耍的视频学高层计划，再用少量遥操作数据学底层动作的模仿学习方法

斯坦福、英伟达等机构的 Chen Wang、Linxi Fan、李飞飞、Yuke Zhu 等人 2023 年 2 月发布，是 CoRL 2023 的口头报告论文。长程任务（要连续完成多步的任务）如果全靠遥操作采数据，成本很高。MimicPlay 采用分层结构：高层从「人类玩耍数据」，即人用手在场景里随意摆弄物体的视频中，学一个潜在计划，表示给定目标图像时人手的 3D 轨迹应该怎么走；低层只用少量遥操作演示训练视觉运动策略，按这个计划输出机器人动作。人手视频便宜、跨本体可用，正好补足机器人数据的不足。在 14 个真实长程操作任务上，它的成功率、泛化能力和抗干扰能力都优于当时的基线方法。