指令增强

给机器人轨迹自动补写或改写语言指令，让同一段动作配上更多种说法。

指令增强是面向语言条件策略（按文字指令行动的策略）的一类数据处理方法：不采新的机器人动作，只给已有轨迹补上或改写语言标签。人工给每条示教写指令成本高，写法也单一，模型换个说法就听不懂。代表工作是谷歌机器人团队 2022 年提出、发表于 RSS 2023 的 DIAL：先用少量人工标注数据微调 CLIP（图文匹配模型），再让大语言模型提出候选指令，由 CLIP 打分挑出与轨迹画面相符的说法，给 8 万条示教（其中 96.5% 没有人工语言标注）重新贴标签，最后做行为克隆。更简单的做法是只让大模型把原指令改写成多种同义说法。它和事后重标注、自动标注属于同一思路。

例子DIAL 训练出的策略在 60 条原数据集里没出现过的新指令上做了测试，涵盖空间关系描述、换一种说法的描述和新语义技能三类。

也叫

语言增强、Language Augmentation、指令改写

相关

语言标注、事后重标注、自动标注、数据增强、语言条件策略、CLIP

来源

Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models (arXiv 2211.11736)
DIAL 项目主页