欠拟合
Underfitting常用模型太弱或训练不够,连训练数据里的规律都没学会。
欠拟合是机器学习的基础概念,与过拟合相对:模型在训练集上误差就很高,到验证集、测试集上同样差。常见原因有模型容量不够(参数少、结构太简单)、训练步数不足、学习率不合适、正则化过强,或输入里缺少完成任务所需的信息。判断看训练损失:训练损失降不下去是欠拟合;训练损失很低而验证损失回升才是过拟合。机器人学习里的典型表现是策略连训练时的演示场景都做不对,这时应先加大模型、延长训练,或检查观测与动作数据(如相机画面、动作归一化)有没有出错,而不是急着上数据增强这类防过拟合手段。
例子用一个很小的多层感知机去学双臂叠衣服的演示,训练损失很早就停在高位,在训练集里的场景上回放也抓不准衣角,这就是欠拟合。
- 也叫
- 拟合不足
- 相关
- 过拟合、正则化、训练集 / 验证集 / 测试集、损失函数、参数量、收敛
- 来源
- Google Machine Learning Crash Course: Overfitting
Wikipedia: Overfitting(含 Underfitting 一节)