站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

模型上线后的监控:漂移、衰减与告警

模型上线不是终点。线上流量、用户行为、物品池都在变化,模型效果会随时间衰减。没有监控的模型就像没有仪表盘的汽车,出了问题也难以及时发现。

首先要监控数据漂移:对比线上特征分布与训练分布的差异,常用 PSI、KL 散度等指标。特征均值、缺失率、取值范围的突变往往是上游数据问题的信号。

其次监控预测漂移:模型输出的分数分布、正样本比例是否稳定。若预估点击率整体偏移,可能是校准失效或特征延迟,需要及时排查。

效果监控依赖线上指标,如点击率、转化率、人均时长,并按维度下钻到类目、场景、用户群。整体指标平稳可能掩盖局部恶化,分组监控不可少。

告警要设置合理阈值和抑制机制,避免噪声疲劳。同时保留模型版本与特征的快照,便于问题复现和快速回滚。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 样本权重与类别不均衡的处理策略 下一篇 置信区间比单点估计更值得报告