过拟合是模型把训练数据的噪声也学了进去,训练集表现好、测试集表现差。欠拟合是模型太简单,连训练集的规律都没抓住。两者是模型能力的两端。
判断过拟合,看训练集和验证集的指标差距。差距大说明泛化能力弱,可以通过正则化、简化模型、增加数据来缓解。差距小但都低,多半是欠拟合。
正则化是控制过拟合的常用手段。L1 让权重稀疏,L2 让权重平滑,dropout 在训练时随机失活神经元。方法不同,目标都是限制模型复杂度。
数据量是根本解药。更多高质量样本能显著缓解过拟合。数据增强、特征工程、集成学习也是有效补充。先看数据,再调模型,顺序不能反。