模型在离线表现好,不代表可以直接上线。上线前至少要检查数据一致性,训练和线上推理的特征计算逻辑是否完全相同,避免训练服务偏差这种隐蔽问题。
还要检查特征时效性。线上能否实时拿到这些特征,缺失时怎么兜底,默认值是否会引入偏差。很多线上事故源于一个本该有值的特征变成了空。
性能和容量也不能忽略。推理延迟、并发承载、模型体积是否满足要求,冷启动时缓存是否预热,都要提前压测。
最后准备回滚方案和监控指标。明确什么条件下回滚,监控哪些输入输出分布,出现异常如何定位。上线不是终点,而是观测的开始。
模型在离线表现好,不代表可以直接上线。上线前至少要检查数据一致性,训练和线上推理的特征计算逻辑是否完全相同,避免训练服务偏差这种隐蔽问题。
还要检查特征时效性。线上能否实时拿到这些特征,缺失时怎么兜底,默认值是否会引入偏差。很多线上事故源于一个本该有值的特征变成了空。
性能和容量也不能忽略。推理延迟、并发承载、模型体积是否满足要求,冷启动时缓存是否预热,都要提前压测。
最后准备回滚方案和监控指标。明确什么条件下回滚,监控哪些输入输出分布,出现异常如何定位。上线不是终点,而是观测的开始。