伪动作标签

Pseudo Action Labels进阶

用模型从视频里反推出来、代替真实记录的动作标签。

视频本身没有记录人或机器人的动作时，可以用一个模型根据前后画面「猜」出每一步的动作，把猜出来的动作当标签训练策略，这就是伪动作标签。常见做法有两种：一是先用少量带动作的数据训练逆动力学模型（由相邻两帧推出中间动作），再用它批量标注海量视频，OpenAI 的 VPT 就这样给大量 Minecraft 网络视频标上了键鼠操作；二是用潜在动作模型从视频里学出抽象的动作编码。英伟达 DreamGen 也用这两种办法给世界模型生成的视频补上伪动作，得到可训练的「神经轨迹」。它让无动作标签的视频也能用于训练，但标签有误差，通常还要用真实数据微调。