离线指标涨了，线上效果却变差

离线评估和线上效果不一致，是推荐与搜索团队最常见的困惑。原因之一是数据分布差异：离线用的是历史日志，线上面对的是被旧模型筛选过的流量，两者并不同源。

其次是评估目标错位。离线优化点击率，线上却关心停留和复访，指标方向不一致时，离线提升自然换不来线上收益。

反馈回路也会放大偏差。新模型上线后改变用户行为，产生新的数据分布，离线测试根本无法模拟这种动态变化。

解决办法是做线上小流量实验，用同一套核心指标对比，并关注长期指标而非单次点击。离线只做粗筛，线上实验才是最终裁判。