超参数

训练开始前由人设定、不靠训练学出来的配置，比如学习率、批大小。

模型里的权重叫参数，由训练自动学出来；超参数则是训练前由人设定、训练中一般不变的配置，决定「怎么学」。常见的有学习率、批大小、训练步数或轮次、网络层数和宽度、正则化强度；强化学习里还有折扣因子、PPO 的裁剪系数；具身模型还有动作块长度、扩散去噪步数等。超参数选得不好，模型可能不收敛、过拟合或效果差一截。寻找合适组合的过程叫超参数调优，常用网格搜索、随机搜索、贝叶斯优化，实践中也常沿用论文默认值再小范围调整，行话叫「调参」或「炼丹」。

例子训练 ACT 时，动作块长度 k、学习率、CVAE 损失中 KL 项的权重 β，都是需要人手动设定的超参数。

也叫

超参、Hyper-parameter

相关

学习率、批大小、训练轮次、过拟合、炼丹 / 调参（黑话）、基于群体的训练

来源

Google Machine Learning Glossary: hyperparameter
Wikipedia: Hyperparameter (machine learning)