离线评估用历史数据算指标，成本低、迭代快，但它和线上真实效果之间常存在明显差距，理解差距来源是用好离线评估的前提。
第一个差距来自数据分布。离线数据是旧策略产生的，新模型推荐的内容在历史日志中没有曝光，评估只能覆盖旧策略见过的样本，存在选择偏差。
第二个差距来自反馈闭环。线上推荐会影响用户行为，用户行为又反过来影响后续推荐，这种动态交互在静态离线数据中无法体现。
第三个差距来自指标口径。离线常算 AUC、NDCG，线上看点击率、停留时长、转化率，两者优化的目标并不完全一致，甚至可能相互冲突。
缩小差距的办法包括：用倾向性加权修正曝光偏差、构造反事实评估、做小流量在线验证。离线指标只作筛选，最终决策必须依赖线上 AB 实验。
