涌现能力

小模型没有、模型或数据规模变大后才出现的能力。

这一说法由 Wei 等人 2022 年的论文《Emergent Abilities of Large Language Models》系统提出，定义是：一种能力在较小模型中不存在、在较大模型中出现，无法靠外推小模型的表现来预测，例如多步算术、思维链推理。2023 年 Schaeffer 等人提出反驳：很多「突然出现」来自评价指标，用全对才得分的指标会显得跳变，换成连续指标后提升其实是平滑的。在具身智能里，涌现常指训练数据中没有、测试时却表现出来的能力，比如 RT-2 能执行机器人数据里没有的指令（把物体放到某个数字或图标上），或挑出石头当临时锤子。看到宣传里的涌现，要结合具体评测来判断。

例子RT-2 的机器人示范数据里没有「把物体放到数字卡片上」这类任务，但它的视觉语言模型底座从网络图文里认识数字，于是能照做。

也叫

涌现、Emergence、Emergent Capabilities

相关

缩放定律、大语言模型、思维链、RT-2、零样本、泛化

来源

Emergent Abilities of Large Language Models (arXiv 2206.07682)
Are Emergent Abilities of Large Language Models a Mirage? (arXiv 2304.15004)
RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control (arXiv 2307.15818)