离线评估是模型上线前的第一道关卡，用历史数据回放来估算模型效果。它成本低、迭代快，但和线上真实效果之间常常存在明显差距，理解这个差距是算法工程师的基本功。
差距来源之一是数据分布不一致。离线评估用的是旧策略产生的数据，新模型可能推荐从未曝光过的物品，这些物品在历史数据里没有反馈，评估就有偏。这就是所谓的曝光偏差。
差距来源之二是指标不一致。离线常用 AUC、NDCG 等排序指标，线上关心的是点击率、转化率、停留时长和留存。排序指标提升不一定带来业务指标提升，二者之间需要验证。
差距来源之三是系统联动。线上模型会影响用户行为，用户行为又反过来影响后续推荐，形成反馈回路。离线静态数据无法模拟这种动态博弈，效果自然对不上。
因此离线评估只做粗筛，决定哪些方案值得上线实验。真正的结论必须来自线上 AB 测试，且要保证分流随机、样本足够、观察周期合理，避免过早下结论。
