模型上线后效果衰减,常见原因是数据分布漂移。用户偏好变化、季节更替、竞品动作、产品改版,都会让线上数据偏离训练分布。模型没变,世界变了。
漂移分协变量漂移和概念漂移。前者是特征分布变化,后者是特征与标签的关系变化。监测特征分布和模型预测分布,能及早发现异常。
应对漂移靠持续迭代。定期用新数据重新训练,缩短模型更新周期。在线学习能更快适应变化,但对稳定性和工程复杂度要求更高。
监控体系是必备基础设施。核心特征的分布指标、模型的预测均值、线上效果指标都要持续跟踪。设置告警阈值,让问题在影响扩大前被发现。