模型上线不是终点,而是监控的起点。线上效果会随数据漂移、系统变更、竞品动作而波动。没有监控,问题往往在业务指标恶化后才被发现。
监控分三层:数据层看特征分布和缺失率,模型层看预测分布和打分稳定性,业务层看点击率、转化率等核心指标。三层联动,才能定位问题出在哪一环。
告警要设合理阈值。太灵敏会疲劳,太迟钝会漏报。结合历史波动范围设定动态阈值,比固定阈值更实用。告警后要有明确的排查路径和负责人。
监控还要关注长尾场景。整体指标平稳,可能掩盖了某类用户或某个品类的问题。分维度监控,能发现局部异常,避免小问题演变成大事故。