缩放定律

模型效果随参数量、数据量、算力增加而按幂律稳定提升的经验规律。

缩放定律是对「模型越大、数据越多、算力越足，效果越好」的定量描述。2020 年 OpenAI 的 Kaplan 等人发现，语言模型的测试损失与参数量、数据量、训练算力之间都呈幂律关系，其中一些趋势跨越七个以上数量级依然成立；2022 年 DeepMind 的 Chinchilla 研究进一步指出，算力固定时，模型规模和训练 token 数应按相同比例扩大。它的价值在于能用小规模实验预测大规模训练的收益，决定资源投向哪里。具身智能领域正在验证机器人数据是否也有类似规律，这也是各家大规模采集数据的依据之一。

例子2024 年清华大学高阳团队的《Data Scaling Laws in Imitation Learning for Robotic Manipulation》采集了 4 万多条演示、做了 1.5 万多次真机测试，发现策略在新环境、新物体上的泛化能力与训练环境数、物体数大致呈幂律关系，而单个环境内的演示条数加到一定程度后收益很小。

也叫

规模定律、尺度定律、具身 Scaling Law、Robot Scaling Law、数据缩放定律、Data Scaling Law、Scaling 实验

相关

数据缩放律（模仿学习）、参数量、大语言模型、数据多样性、苦涩的教训、涌现能力

来源

Scaling Laws for Neural Language Models (arXiv 2001.08361)
Training Compute-Optimal Large Language Models (arXiv 2203.15556)
Data Scaling Laws in Imitation Learning for Robotic Manipulation (arXiv 2410.18647)

信息截至

2024-10