某风控模型离线AUC 0.82，团队很满意，上线后拦截率却比预期低18个百分点。排查发现训练集正样本占比3%，线上实际1.2%，分布漂移导致阈值全错。这不是模型不行，是评估没做全。
第一项：区分度。AUC、KS都算。AUC 0.75以上可用，0.85以上较好。但AUC对不平衡不敏感，正样本1%时AUC 0.8也可能没用。补一个PR曲线，看召回率80%时的精确率是多少，风控场景精确率低于30%就得重做特征。
第二项：校准度。预测概率0.3的那批人，实际发生比例该接近30%。画可靠性图，横轴预测概率分10桶，纵轴实际频率。某广告模型AUC 0.79不错，但预测0.1的桶实际CTR 0.21，整体高估一倍，导致出价虚高，ROI从1.8掉到1.2。修法是加Platt缩放或等渗回归。
第三项：稳定性。用PSI看特征分布，训练集与线上比，PSI>0.1要警惕，>0.25必须处理。某推荐模型上线第9天PSI到0.31，原因是新上了一批9.9元商品，价格特征整体左移。处理办法：价格做分桶而非连续值，或每周重训。
第四项：业务指标。离线好看不等于赚钱。某排序模型NDCG@10提升6%，但上线后人均GMV降2%，因为模型偏爱高点击低客单商品。评估时必须把“点击→加购→支付”整条链路算进去，用模拟回放或小流量A/B验证，别只看单点指标。
第五项：鲁棒性。构造异常输入：空特征、极值、类别未见过的值。某模型遇到未登录用户（特征全空）直接输出0.99，把首页推满广告。修法是加默认值兜底和特征缺失指示位，未登录走独立兜底策略。
第六项：公平性与合规。按性别、年龄段分组看TPR差距，差距超10个百分点要复查特征。某信贷模型对25岁以下人群通过率低14个百分点，排查发现“手机号在网时长”特征对年轻群体天然不利，最终删除该特征。
上线节奏建议：离线评估→10%流量灰度24小时→50%流量48小时→全量。每步看4个数：主指标、护栏指标、PSI、告警数。某团队跳过灰度直接全量，阈值配错导致2小时内误拦1.3万笔订单，客诉涨了5倍。
