上线前先确认离线指标是否达标,并与基线模型对比。提升要稳定,不能只靠某一次随机划分的运气。多折结果更可信。
检查线上线下一致性。特征口径、预处理逻辑、模型版本要对应。常见事故是训练用了未来信息,线上拿不到同样特征,效果骤降。
做小流量灰度。先在少部分用户上验证,观察核心指标和异常情况。灰度期间准备好回滚方案,出现问题能快速止损。
监控要提前设计。指标波动、特征缺失、预测分布漂移,都应有告警。上线不是终点,而是持续观察的起点。
上线前先确认离线指标是否达标,并与基线模型对比。提升要稳定,不能只靠某一次随机划分的运气。多折结果更可信。
检查线上线下一致性。特征口径、预处理逻辑、模型版本要对应。常见事故是训练用了未来信息,线上拿不到同样特征,效果骤降。
做小流量灰度。先在少部分用户上验证,观察核心指标和异常情况。灰度期间准备好回滚方案,出现问题能快速止损。
监控要提前设计。指标波动、特征缺失、预测分布漂移,都应有告警。上线不是终点,而是持续观察的起点。