MaskedMimic

MaskedMimic: Unified Physics-Based Character Control Through Masked Motion Inpainting进阶

英伟达提出的统一物理人形控制器，把各种控制方式都当作补全缺失动作。

MaskedMimic 是英伟达研究院 Chen Tessler、Xue Bin Peng 等人 2024 年 9 月发布的工作，发表于 SIGGRAPH Asia 2024（ACM TOG）。过去在物理仿真里控制人形角色，跟踪动作、走路、伸手够物、按文字做动作往往各训一个策略、各写一套奖励。MaskedMimic 把它们统一成动作补全问题：只给出部分约束（几个关节的目标位置、若干关键帧、一句文字或要交互的物体），其余被遮住，模型生成完整且物理可行的全身动作。训练分两步：先用强化学习在 AMASS 动捕数据上训练一个完整跟踪参考动作的教师控制器，再用 DAgger 式行为克隆蒸馏成能处理随机遮挡输入的条件 VAE 学生策略。代码收录在英伟达开源框架 ProtoMotions 中。