模型上线不是终点,而是监控的起点。线上数据持续变化,模型效果会随时间衰减。没有监控的模型就像没有仪表盘的汽车,出了问题往往发现得很晚。
基础监控包括服务可用性、响应延迟、错误率和调用量。这些是工程指标,异常时优先排查资源、依赖和代码问题,而不是怀疑模型本身。
效果监控看核心业务指标和模型指标,比如点击率、转化率、AUC 的滑动窗口值。要与历史同期和对照组比较,设置合理阈值,避免正常波动触发大量误报。
数据漂移监控关注特征分布和预测分布的变化。用 PSI、KL 散度等指标衡量当前分布与训练分布的差异,漂移超阈值时触发告警并排查原因,比如上游埋点改动或业务活动影响。
告警要分级并附上下文,比如指标名、时间窗、影响范围、最近变更记录。告警太多会让人麻木,建议聚焦少数关键指标,配合值班和复盘机制形成闭环。