模型上线不是终点,而是监控的起点。数据分布会随时间漂移,用户行为会变化,竞品环境会改变,曾经有效的模型可能几个月后效果明显衰减。
效果监控要区分即时指标和滞后指标。点击率、转化率是即时可观测的,但用户留存、长期价值需要更长时间才能体现。两类指标都要监控,不能只盯即时指标。
分布监控同样重要。特征分布、预测分数分布、样本量分布的变化往往先于效果指标变化。当输入分布明显偏移时,即使当前效果还没掉,也应提前预警。
预警机制要设置合理阈值和分级。轻微偏移只记录,明显偏移触发排查,严重偏移触发自动降级或回滚。告警要能定位到具体特征或人群,而不是只报一个总数。
应对策略包括重新训练、调整特征、切换备用模型。关键是保留可快速回滚的能力,同时建立模型迭代的标准化流程,让衰减发现到修复的周期尽量短。