收敛

继续训练时损失或回报几乎不再变化，模型进入稳定状态。

收敛指训练中损失（衡量预测与目标差距的数值）或强化学习的回报随迭代基本不再变化，再训下去收益很小。梯度下降类方法只在一定条件下保证收敛到局部最优或平稳点，深度网络实际上靠看训练曲线判断。学习率过大会让损失震荡甚至发散，梯度爆炸、数据问题也会导致不收敛。机器人学习里要注意：损失收敛不等于策略最好用。robomimic 的大规模实验指出，训练目标和实际评测目标不一致，按验证损失挑检查点并不可靠，通常还要实际跑推演、看成功率来选模型。

例子训练腿足运控策略时，平均回报曲线先快速上升、后来走平，就认为基本收敛；训练行为克隆策略时，损失曲线走平后仍要对多个检查点分别测成功率，再决定用哪一个。

也叫

训练收敛、Converge

相关

损失函数、学习率、梯度下降、过拟合、检查点、早停

来源

Google Machine Learning Glossary: convergence
What Matters in Learning from Offline Human Demonstrations for Robot Manipulation (robomimic, arXiv 2108.03298)