模型离线指标达标不等于可以上线。上线前需要一套系统检查,覆盖数据、评估、工程和风险四个方面,避免带病上线造成线上事故。
数据方面,确认训练数据时间范围、特征可用性和线上线下一致性。检查是否存在泄漏,验证特征在预测时确实可获取,且计算逻辑与线上服务一致。
评估方面,除主指标外要看分层结果和护栏指标。确认测试集独立,报告置信区间,评估不同人群和场景的表现。离线提升要有统计意义,也要有业务意义。
工程方面,检查推理延迟、吞吐和资源占用是否满足要求。做影子流量或小流量灰度,对比线上线下打分分布,确认服务稳定、降级方案可用。
风险方面,准备回滚预案和监控告警。明确核心指标下跌多少触发回滚,设置新物品和新用户的专项监控。上线是开始而非结束,持续观察才能确认真实收益。