离线评估表现很好的模型，上线后指标却不升反降，这种情况在推荐和搜索里很常见。原因通常藏在数据分布和评估方式里。
离线数据来自旧系统的日志，存在曝光偏差。模型只能看到旧系统愿意展示的样本，学到的偏好和真实用户兴趣有差距，上线后面对新的曝光策略就会失配。
离线指标也常和业务目标错位。用 AUC 或准确率评估，优化的是排序区分度，但业务关心的是点击率、停留时长或成交额，二者并不总是一致的。
线上环境还有延迟、缓存、位置效应等工程因素。模型分数再准，如果响应慢或者结果位置固定，实际收益也会被抵消。
稳妥做法是上线前做小流量实验，用线上指标验证，再逐步放量，不要只凭离线数字做全量决策。
