模型上线不是终点,而是新阶段的开始。线上数据分布会变化,用户行为会演化,竞品策略会调整,模型效果随时间衰减是常态。没有监控的模型,就像没有仪表盘的汽车,出了问题也难以及时发现。
监控应覆盖三个层面:数据层看特征分布与缺失率是否漂移,预测层看输出分布与校准是否稳定,业务层看核心指标与护栏指标。三层联动,才能快速定位问题出在数据、模型还是策略。
效果衰减常源于分布偏移。用户群体变化、季节因素、运营活动都会改变数据分布。检测到漂移后,先判断是短期波动还是结构性变化,前者可观察,后者需尽快重新训练或调整特征。
迭代节奏要平衡收益与成本。频繁重训成本高且可能引入不稳定,间隔太久又跟不上变化。常见做法是定期全量重训加不定期增量更新,并设置效果回滚机制,保证异常时能快速恢复。
建立模型卡片与变更日志同样重要。记录每个版本的训练数据、特征、指标与上线时间,出问题时才能快速回溯。工程规范看似繁琐,却是长期稳定运行的基石。