骨化（模型骨化）

Ossification进阶

模型权重像「僵住」一样，继续喂数据也吸收不了新信息的现象。

「骨化」一词出自 OpenAI 的 Hernandez、Kaplan 等人 2021 年的论文 Scaling Laws for Transfer：他们发现在微调数据很多时，先做过预训练的小模型反而追不上从零训练的同尺寸模型，好像预训练把权重「骨化」了，成了难以摆脱的坏初始化。具身领域因 Generalist AI 2025 年 11 月发布的 GEN-0 开始用这个词：在大规模真机数据上预训练时，10 亿参数的模型难以吸收复杂多样的感知-运动数据，权重随时间变得学不进新信息，而 60 亿、70 亿参数的模型持续变好；官方称这是首次在机器人领域观察到模型骨化，此前语言模型里只在千万参数级的小模型上见过。它提醒人们：数据规模上来后，模型容量也要跟上。