某资讯推荐模型迭代，离线AUC从0.75升到0.78，NDCG@10从0.62到0.66，评估报告写了「显著提升」。上线灰度7天，人均点击从5.1次到5.3次，转化率只从2.9%到3.3%，涨幅0.4个百分点，远低于离线预期。第8天复盘，发现问题出在评估体系。
第一个错位是样本分布。离线训练集用过去90天日志，共1.2亿条，但线上近7天有新品类上线，占曝光12%，离线集里几乎没有。做法是加时间衰减权重，近30天样本权重1.0，31到60天0.6，61到90天0.3，重训后离线AUC回落到0.765，但线上线下差距缩小。
第二个错位是负样本构造。离线随机抽负样本，比例1比4；线上曝光未点击的自然负样本比例接近1比20。随机负样本让模型高估热门内容，长尾内容得分被压低。改为按曝光位置分层采样，位置1到3、4到6、7到10各采等量负样本，热门偏差下降，Top10品类多样性从4类增到6类。
第三个错位是评估指标和业务目标脱节。AUC衡量全局排序，但业务只看前3屏，占曝光约35%。补充计算Top3屏的加权NDCG和每千次曝光转化数。调整后离线每千次曝光转化预估3.1次，线上实测3.3次，误差6%，可接受；原模型预估4.2次，误差27%。
概率角度，AUC 0.78的含义是随机取一个正样本和一个负样本，模型给正样本打分更高的概率78%。它不反映分数绝对值，也不直接对应转化率。团队后来在评估报告里并列3个数：AUC、校准后的预估转化率、以及转化率的95%置信区间。样本量10万时区间约±0.15个百分点，5万时±0.21个百分点。
一个具体案例说明校准的重要性。模型给某类内容打分0.82，但该类实际点击率0.61，高估34%。用保序回归做分数校准，把打分映射到历史实际点击率，校准后预估和实际偏差从平均19%降到5%。校准模型每周用新数据更新一次，更新窗口28天。
评估流程改为5步：①离线按时间切分训练验证测试，比例70/15/15；②加时间衰减和分层负采样；③算AUC、NDCG@10、Top3屏加权指标、校准偏差4项；④用历史回放做反事实评估，模拟新模型对Top10位置的影响；⑤线上灰度至少7天，看转化率和留存两个业务指标。
这套流程跑了两个季度，共评估6个模型版本，上线3个。上线版本平均线上转化提升0.5到0.8个百分点，离线在线指标相关性从0.38升到0.67。评估报告从3页扩到6页，但返工次数从每版2.3次降到0.5次。
