模型上线不是终点。线上流量、用户行为、物品池都在变化,模型效果会随时间衰减。没有监控的模型就像没有仪表盘的汽车,出了问题也难以及时发现。
首先要监控数据漂移:对比线上特征分布与训练分布的差异,常用 PSI、KL 散度等指标。特征均值、缺失率、取值范围的突变往往是上游数据问题的信号。
其次监控预测漂移:模型输出的分数分布、正样本比例是否稳定。若预估点击率整体偏移,可能是校准失效或特征延迟,需要及时排查。
效果监控依赖线上指标,如点击率、转化率、人均时长,并按维度下钻到类目、场景、用户群。整体指标平稳可能掩盖局部恶化,分组监控不可少。
告警要设置合理阈值和抑制机制,避免噪声疲劳。同时保留模型版本与特征的快照,便于问题复现和快速回滚。