离线评估是排序模型迭代的第一道关口，但它常常给出过于乐观的结论。离线数据来自历史策略，模型在历史分布上表现好，不代表在新策略下同样有效。
最常见的陷阱是评估数据与训练数据重叠。如果训练集和测试集按时间随机划分，模型可能记住了未来信息，离线 AUC 虚高。正确做法是按时间切分，用过去预测未来。
另一个陷阱是指标与业务目标脱节。离线常用 AUC、NDCG，线上关心的是点击率、停留时长和转化。指标之间并不总是一致，AUC 提升未必带来线上收益。
还有样本权重问题。曝光多的内容在评估中占主导，长尾内容的效果被掩盖。评估时应按业务重要性加权，或分场景分别看指标。离线评估要谨慎解读，线上实验才是最终裁判。
