某风控团队2023年5月上线一个新模型，离线AUC 0.81，团队很满意。上线两周后，人工审核发现高分段里混进了一批异常订单，复核准确率只有63%。拆开看，AUC 0.81是整体值，按订单金额分层后，500元以下区间AUC 0.74、500到2000元区间0.83、2000元以上区间0.69。高金额区间恰恰是业务最关心的，模型在那里最弱。
AUC衡量的是排序能力，不衡量概率准不准。某推荐模型AUC 0.79，但预测点击率平均值2.4%、实际点击率1.7%，整体高估约40%。做概率校准时，把预测值分10桶，最高桶预测8.2%、实际5.1%，最低桶预测0.3%、实际0.6%。两端都偏，中间还行。校准后AUC没变，但预估偏差降到±8%以内，出价和预算分配才敢用。
分层评估要按业务切，不能只按随机切。某电商2023年8月的模型评估报告，按新老客、价格带、品类三个维度各切3到5层，共生成27个分层结果。其中老客加高价位的组合AUC只有0.66，样本占比6%。团队针对性补了2000条该场景的样本，两周后该分层AUC升到0.73，整体AUC只动了0.01，但业务方感知明显。
4个反例。反例1：用未来数据训练。某团队把下单时间晚于曝光时间的特征带入训练，离线AUC 0.88，线上一测0.71，特征是“未来信息泄漏”。反例2：正负样本比例失真。负样本下采样后比例从1比99变成1比4，模型预测概率整体偏高，未做还原。反例3：评估集和训练集同源。同一批用户既训练又评估，AUC虚高约0.05。反例4：只看AUC不看业务指标。某模型AUC提升0.02，但推荐结果同质化，人均停留时长下降9秒。
模型评估的对照表可以这样设计：离线看AUC、LogLoss、校准误差；线上看点击率、转化率、人均时长；分层看新老客和价格带各3层；护栏看接口延迟、错误率、退货率。某内容平台2023年10月按这张表评估，发现一个模型离线AUC 0.77、线上点击率提升2.1%，但接口延迟从45毫秒升到110毫秒，超时率升到1.9%，最终没上线。单看效果指标会漏掉成本。
概率评估常用Brier分数和校准曲线。Brier分数等于预测概率与实际结果差的平方均值，越低越好。某广告模型Brier分数从0.19降到0.16，对应预估点击率偏差从±35%收窄到±14%。校准曲线按10桶画，横轴预测值、纵轴实际值，理想情况是一条45度线。2022年某平台的曲线上，预测值0到1%区间实际值1.4%，属于低估；预测值4%到6%区间实际值3.9%，属于高估。按桶乘系数修正，是最简单的校准手段。
一个落地节奏：每周一次离线评估，产出AUC、LogLoss、校准误差和分层结果；每两周一次线上小流量测试，每组至少1万次曝光；每月一次全量复盘，对比离线与线上的排序相关性，相关性低于0.6就要查特征或口径。某团队按这个节奏跑了半年，模型上线后的效果回退次数从5次降到1次，定位问题的时间从平均3天缩短到半天。
