很多团队遇到过离线AUC提升明显、上线后核心指标却下降的情况。AUC衡量的是全体样本的排序能力，而线上系统只展示头部结果，用户实际感知的是Top-K质量。全局排序变好不代表头部排序变好，这是最常见的错配。
另一个原因是训练与服务的样本分布不一致。离线评估用的是历史曝光日志，线上却要面对新物品和新用户。若模型过度依赖历史共现特征，在新分布下泛化能力会明显下降，离线指标无法反映这一点。
评估指标本身也有盲区。AUC对正负样本比例不敏感，但在业务中正样本极其稀疏，少量高分负样本就可能毁掉体验。此时应补充Precision@K、NDCG、召回率等头部敏感指标，并结合业务目标设计复合评估体系。
更稳妥的做法是建立离线评估与在线实验的对照记录，分析每次离线提升与线上收益的相关性，逐步校准离线指标的置信度。离线评估是筛子而非判决书，最终仍需小流量实验验证。
