离线 AUC 提升明显，上线后点击率却没涨甚至下降，这是推荐算法工程师常遇到的困惑。离线与在线指标对不上，原因通常藏在数据分布、评估方式和系统约束里。
离线评估用的是历史日志，模型只看到被旧策略曝光过的物品。新策略可能推荐历史从未曝光的物品，离线数据无法反映其真实反馈。这种曝光偏差会让离线结论失真。
线上还受系统约束影响。延迟、候选规模、频控和多样性规则都会改变最终展示，离线评估往往假设这些约束不存在。模型分数再准，工程限制也会削弱收益。
用户反馈具有动态性。新策略改变推荐后，用户行为分布随之变化，形成反馈回路。离线静态数据无法模拟这种演化，线上效果自然不同。
要缩小差距，离线评估应尽量模拟线上约束，用逆倾向加权纠正曝光偏差，并坚持小流量 AB 验证。把离线指标当筛选工具而非最终结论，才能减少误判。
