模型上线后效果随时间下降,未必是代码问题,可能是数据分布变了。用户结构、物品供给和外部环境变化,都会让训练时的假设失效。
分布漂移分为特征漂移和标签漂移。特征漂移指输入分布变化,标签漂移指特征与目标的关系变化,两者需要不同的应对方式。
监控特征统计量是发现漂移的常用手段。均值、分位数和缺失率若明显偏离训练基线,就应触发排查,判断是真实业务变化还是采集故障。
应对方式包括定期重训、滑动窗口训练和在线更新。重训频率取决于变化速度,快速变化的场景需要更短的更新周期。
漂移检测要设合理阈值。阈值太敏感会频繁误报,太迟钝则错过最佳干预时机,需要结合历史波动确定。