离线指标提升但线上无收益，是算法团队最沮丧的场景之一。这道鸿沟的成因复杂，缩小它需要系统性方法而非单点优化。
首要原因是评估集不代表线上分布。离线评估用的是历史日志，而新模型会改变曝光分布，形成反馈回路。要用无偏评估集或模拟环境来逼近真实效果。
其次是指标错位。离线优化 AUC，线上关心的是 TopK 收益和人均指标。两者相关但不完全一致，需要让离线指标更贴近业务目标，比如用加权 NDCG 或业务指标代理。
系统因素也常被忽略。新模型延迟增加、特征调用失败率上升，都会抵消精度收益。离线评估应包含性能和稳定性维度。
缩小鸿沟的根本办法是建立离线在线一致的实验体系，小流量验证后再放大。把每次离线在线差异做归因沉淀，逐步校准离线评估的可信度。
