动作标签

数据里每一时刻机器人执行的动作值，是模仿学习要拟合的「答案」。

动作标签是机器人数据中与每帧观测对齐的动作值，比如末端的位移和旋转、关节目标角度、夹爪开合。遥操作时由系统直接记录，UMI 这类手持采集则靠 SLAM 等算法事后还原。行为克隆把观测当输入、动作标签当监督信号，所以标签的频率、坐标系、是绝对量还是增量，都会直接影响模型学到什么；RT-1-X 等模型把各家数据统一成 7 维动作（位置 3 维、旋转 3 维、夹爪 1 维）。动作标签只能在机器人或专门设备上采到，这是机器人数据贵的主要原因，于是有了用逆动力学模型给视频补伪动作标签、或学潜在动作的做法。

例子OpenAI 的 VPT 先用承包商录制的 1962 小时带键鼠操作记录的 Minecraft 数据训练逆动力学模型，再用它给约 7 万小时网络视频补上伪动作标签，最终训练出能做出钻石工具的智能体。

也叫

动作标注、Action Annotation

相关

观测-动作对、行为克隆、动作空间、伪动作标签、逆动力学模型、无动作标签视频

来源

Baker et al. 2022: Video PreTraining (VPT) (arXiv 2206.11795)
Open X-Embodiment 项目页
Ye et al. 2024: Latent Action Pretraining from Videos (LAPA)