很多团队遇到离线 AUC 提升但线上点击率下降的困惑。根本原因是离线评估与线上环境存在系统性差异：数据分布不同、评估目标不同、系统交互影响被忽略。
首先是分布偏移。离线数据是历史策略产生的，新策略会改变用户行为分布，形成反馈回路。离线评估假设数据独立于策略，而线上新策略会带来新曝光和新点击，两者不可简单类比。
其次是目标错位。离线常优化 AUC 等排序指标，线上关心的是业务转化、停留时长或 GMV。排序更准不等于业务更好，比如过度推荐热门内容会提升短期点击但损害多样性。
还有位置偏差和曝光偏差。离线数据中排在前面的物品获得更多点击，模型会学到位置而非真实偏好。可用逆倾向加权等方法校正。解决办法是建立线上 A/B 为最终裁决、离线做快速筛选的分层评估体系，并保持离线评估流程尽量贴近线上。
