过拟合指模型在训练集上表现优异、在验证集上明显变差,本质是记住了训练数据的噪声而非规律。欠拟合指模型在训练集上就表现不佳,说明容量不足或特征信息不够,连基本模式都没学到。
诊断方法是观察训练损失与验证损失曲线:两者都高且接近是欠拟合;训练损失持续下降而验证损失先降后升是过拟合。学习曲线还能帮助判断增加数据是否有用。
应对过拟合的手段包括增加数据、数据增强、简化模型、L1/L2正则、Dropout、早停和集成。应对欠拟合则需要增加模型容量、构造更有信息量的特征、减小正则强度或延长训练。
推荐系统里过拟合常表现为离线指标虚高、线上效果差,根源往往是特征穿越或数据泄漏。检查方法是用严格的时间切分重跑离线评估,观察指标是否大幅回落。
不要一味追求训练集指标。模型价值的衡量标准是泛化能力,留出独立的验证集和测试集,并保证它们与线上分布尽可能一致,才能做出可信的判断。