具身智能新手名词表English

组合泛化

Compositional Generalization进阶

把分别学过的要素重新组合,处理训练中没见过的搭配。

组合泛化指模型把训练中分别见过的要素(词、物体、技能、环境因素)按新方式组合后,仍能正确处理。这个问题最早在语言和认知科学中讨论:人学会新动词 dax 后,马上能理解 dax twice 和 sing and dax;Lake 与 Baroni 2018 年(ICML)用 SCAN 基准表明,循环神经网络在需要真正组合的测试上会大幅失败。放到机器人里,要素可以是物体种类、摆放位置、桌面纹理、相机视角,也可以是「抓起」「放进」等原子技能。它重要的原因是要素的组合数随数量成倍增长,不可能每种都采数据。Gao 等人(RSS 2024)发现机器人策略确实能组合部分环境因素,据此设计采集方案,可以少采很多数据。VLA 能否执行「把没见过的物体放进没见过的容器」,也常被当作组合泛化来测。

例子训练数据里有「红杯子放进碗」和「蓝盘子放进篮子」,测试时让机器人「把红杯子放进篮子」。

也叫
系统性泛化、Systematic Generalization
相关
泛化、任务泛化、语义泛化、零样本、分布外、原子技能
来源
Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks (Lake & Baroni, ICML 2018)
Efficient Data Collection for Robotic Manipulation via Compositional Generalization (Gao et al., RSS 2024)

在完整名词表里查看 →