离线AUC 0.78、线上CTR反降3%，这类翻车在推荐团队并不罕见。2023年某信息流产品上线新排序模型，离线评估全面占优，灰度10%流量后人均使用时长下降2.3%。排查花了11天，根因有四个。
原因一：训练与线上特征时延不一致。离线样本用T+1拼接特征，线上实时特征延迟约200毫秒。某价格敏感特征在离线看是「当前价」，线上拿到的可能是5分钟前缓存价，大促期间价格每分钟变动，特征错位直接拉低相关性。检查方法：抽取线上日志回放，对比同一请求离线特征值与线上特征值的差异率，超过0.5%就要警惕。
原因二：位置偏差未校正。离线样本中首位曝光点击率约12%，第10位仅1.8%。模型学到「位置=1则高点击」，上线后打散策略调整位置分布，预测全乱。常用做法是训练时加入位置作为特征并在服务时置为固定值，或用逆倾向加权（IPW）。某短视频团队用IPW后，离线AUC从0.78降到0.74，但线上CTR提升1.9%——离线降、线上涨，说明之前的0.78是虚高。
原因三：评估指标与业务目标脱节。AUC衡量全局排序，业务关心的是头部。某电商只考核前3位商品的转化，模型却在优化全列表。改用NDCG@3和头部转化率后，选型结论完全反转。建议同时看三组指标：全局AUC、头部NDCG@5、业务指标（GMV/时长/转化），三者方向一致才可上线。
原因四：流量分布漂移。训练数据取2023年3月，上线在5月，中间经历一次大促，用户活跃时段从晚20-22点偏移到晚21-23点，品类偏好也变了。某平台用PSI（群体稳定性指标）监控特征分布，PSI>0.25的特征有7个，其中「近7天点击品类数」漂移最严重。对策：每周重训+在线学习增量更新，重要特征做分时段归一化。
概率校准也常被忽略。模型输出的0.3分不代表30%概率。某广告系统未做校准，出价公式按预测CTR计算，导致高估部分虚高竞价，ROI下降11%。用保序回归做校准后，预测分与实际点击率的平均偏差从0.08降到0.02。
上线检查清单（按顺序执行）：1）特征时延对比，差异率<0.5%；2）位置偏差校正验证；3）三组指标方向一致性检查；4）PSI监控最近4周特征；5）概率校准曲线抽检；6）1%小流量跑满72小时再扩量。某团队严格执行后，模型上线翻车率从每月1.2次降到0.2次。
