语言标注

给机器人轨迹配上自然语言描述，如「把红杯子放进水槽」，让模型能听指令。

语言标注是给机器人数据配上文字说明，最常见的是一条轨迹对应一句任务指令，也可以细到每个子任务一句话。有了它，才能训练按语言指令行动的语言条件策略和 VLA 模型。标注来源大致三种：采集前定好指令、由操作员照做；采完后由人看视频补写，即事后重标注；用视觉语言模型自动生成或改写描述。标注质量直接影响模型听懂指令的能力，同一动作只有一种说法时，模型容易只认固定句式。所以大规模数据集常给一条轨迹配多句不同说法，并把长任务切成带文字的子任务段，方便分层模型学习。

例子谷歌的 Language-Table 用事后重标注得到近 60 万条带语言标签的桌面推物轨迹；DROID 在 2024 年 12 月的更新中为约 7.5 万条成功轨迹各配了 3 句语言描述。

也叫

指令标注、语言指令标注、Language Labeling

相关

数据标注、事后重标注、子任务切分、自动标注、语言条件策略、指令增强

来源

Interactive Language / Language-Table 项目主页
DROID 数据集主页

信息截至

2024-12