模型在离线评估时表现很好,上线一段时间后效果却下滑,这是常见问题。首要排查方向是数据分布发生了变化,也就是训练时的数据环境和线上真实环境不再一致。
比如用户结构变化、新品类出现、季节性行为差异,都会让线上输入偏离训练样本。模型没见过的模式多了,预测自然失准。这类问题靠重新训练往往只能缓解,需要建立持续监控。
另一个原因是特征口径不一致。离线计算特征和线上实时计算特征如果逻辑不同,比如时间窗口、缺失值处理方式有差异,就会造成训练和 serving 不一致,模型实际拿到的输入和训练时不一样。
还有标签延迟的问题。转化类标签要等用户完成行为才能回传,训练数据里近期的样本标签不完整,模型可能学到偏差。上线后要监控输入分布、特征缺失率和关键指标漂移。