自动标注

用预训练模型或程序代替人工，自动给机器人数据补上语言指令、检测框等标签。

自动标注指用程序或预训练模型（如视觉语言模型、目标检测器、大语言模型）代替人工，给采集到的数据自动补标签。机器人数据常缺几类信息：这段轨迹在做什么（语言指令）、子任务从哪切分、画面里物体在哪（检测框、掩码）。人工逐条标注又贵又慢，数据一多就跟不上。典型做法有两种：一是用 CLIP 这类图文模型给没有文字描述的演示匹配指令，谷歌的 DIAL 就是这样做的；二是像伯克利的 ECoT 那样，用 Grounding DINO 框出物体、让大模型写出任务分解和推理步骤，作为训练带推理能力 VLA 的额外监督。自动标注的质量不如人工稳定，通常要抽检或用规则过滤错误标签，常与数据质检、事后重标注、指令增强配合使用。

例子谷歌 2022 年的 DIAL 用 CLIP 给约 8 万条演示自动补语言标签（其中 96.5% 原本没有众包标注），训练出的策略能执行 60 条原数据里没有的新指令。

也叫

自动打标、自动化标注

相关

数据标注、语言标注、事后重标注、指令增强、子任务切分、数据质检

来源

Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models (DIAL, arXiv 2211.11736)
Robotic Control via Embodied Chain-of-Thought Reasoning (ECoT, arXiv 2407.08693)