过拟合的典型信号是训练集指标远高于验证集,且随着训练继续,验证指标不升反降。在推荐场景中,过拟合常表现为模型记住用户 ID、物品 ID 的噪声关联,泛化能力差。
识别过拟合要看学习曲线:训练损失持续下降而验证损失拐头上行,就是明确的过拟合点。早停(early stopping)是最简单有效的对策,按验证指标选最佳轮次。
正则化手段包括 L1/L2 权重衰减、Dropout、标签平滑。L2 抑制权重过大,L1 促进稀疏,Dropout 在训练时随机丢弃神经元,相当于集成,能显著缓解深度模型过拟合。
数据层面,增加样本、数据增强、负采样比例调整都能改善泛化。特征层面,去掉高基数且样本稀少的 ID 类特征,或对其做嵌入维度约束,往往比调正则系数更有效。
模型复杂度也要匹配数据量:几百万样本却用上百层网络,过拟合几乎必然。先用简单模型建立基线,再逐步增加复杂度,是更稳妥的迭代路径。