过拟合指模型在训练集上表现很好,但在未见过的数据上表现明显下降。本质是模型把训练数据中的噪声也学进去了,失去了泛化能力。
常见信号包括:训练损失持续下降而验证损失开始上升、训练集与验证集指标差距拉大、模型对输入的小扰动非常敏感。
产生原因通常是模型复杂度过高或训练数据不足。参数太多、特征太多、训练轮数太多,都会让模型有机会记住样本细节而非规律。
应对手段包括正则化、早停、数据增强和交叉验证。L1 和 L2 正则限制参数大小,dropout 随机丢弃神经元,早停则在验证指标变差时停止训练。
更根本的办法是保证训练集、验证集和测试集分布一致且相互独立。如果验证集和训练集来自同一时间段,评估结果会偏乐观,无法反映真实泛化能力。