模型上线不是终点,而是监控的起点。数据分布会随用户结构、季节、竞品和运营活动变化,模型效果随之衰减。缺乏监控的系统往往在指标明显下滑后才被发现,损失已经发生。
监控应覆盖三个层面:输入特征分布、模型输出分布和业务效果指标。特征层面看均值方差漂移和缺失率,输出层面看分数分布和排序熵,业务层面看点击率、转化率和人均消费。三者结合才能定位问题环节。
告警设计要避免噪声疲劳。阈值应基于历史波动设定,区分缓变与突变,对周期性波动做基线校正。告警分级处理:轻微漂移记入日报观察,显著偏移触发人工排查,严重异常自动降级到兜底策略。
模型重训要有触发机制而非固定周期。当监控发现特征漂移超阈值或效果持续下滑时,应触发重训评估。同时保留旧模型版本以便快速回滚,回滚演练应纳入常规运维流程。