模型在训练集表现好、测试集表现差,通常是过拟合;两边都差,通常是欠拟合。判断两者最直观的工具是学习曲线,观察训练误差和验证误差随样本量或训练轮次的变化。
过拟合时训练误差很低,验证误差明显更高,两者差距大。常见原因是模型复杂度过高、特征过多、训练数据不足或训练轮次过多。对策包括正则化、早停、数据增强和简化模型。
欠拟合时训练误差和验证误差都高且接近。原因通常是模型太简单、特征信息不足或训练不充分。对策是增加特征、提升模型容量或延长训练。
学习曲线还能指导数据收集。如果验证误差随样本增加仍在下降,说明加数据有用;如果曲线已平台化,加数据收益有限,应转向改模型或改特征。
实际项目中过拟合和欠拟合可能同时存在于不同人群。整体指标正常,但某类用户表现差,要做分层评估。单看全局曲线容易掩盖局部问题。