2022年某金融风控团队把逾期预测模型的KS从0.32提到0.38，坏账率降了0.7个百分点。他们没换算法，只改了评估体系：原来只看AUC，后来加了KS、Recall@5%、PSI、分层校准4个指标。评估这件事，指标选错比模型选错更隐蔽。
先厘清评估的5层。第1层区分度：AUC、KS，衡量排序能力。第2层校准度：预测概率和实际频率的偏差，常用可靠性曲线和Brier分数。第3层稳定性：PSI（群体稳定性指数），特征和分数的分布漂移，PSI大于0.2就要查原因。第4层业务指标：召回率、精确率在指定阈值下的表现，比如逾期召回率要达到70%。第5层公平性：不同用户群体的通过率差异，差距超过10个百分点要复核。5层里缺任何一层，上线都可能翻车。
陷阱1是AUC高但校准差。某信贷模型AUC 0.81，预估逾期概率0.1的客群实际逾期率0.18，偏差80%。后果是定价偏低，高风险客户被低价放进来。修复方法：用等渗回归或Platt scaling做后校准，校准后AUC基本不变，Brier分数从0.11降到0.08。陷阱2是训练集和线上分布不一致，2021年某电商的推荐模型训练用了疫情前的数据，线上PSI连续3个月超过0.25，排序效果衰减约12%。陷阱3是只看整体不看分层，整体Recall 75%，但新用户分层只有41%，等于放弃增量市场。
对比两种划分方式。随机划分（random split）在时间序列数据上会高估效果：用未来数据预测过去，AUC虚高0.03到0.06。时间划分（time-based split）更接近线上，但样本利用率低，通常留最后20%时间做测试。某外卖平台做过对比，同一模型随机划分AUC 0.84、时间划分0.79，线上实际0.78。结论是离线评估必须用时间划分，且训练、验证、测试三段按时间切，间隔至少1天。
概率基础要补一课：样本不平衡时Accuracy会骗人。逾期率2%，全预测“不逾期”准确率98%，但一个坏账都抓不到。此时看PR曲线和Recall@固定阈值更靠谱。另一个细节是置信区间：AUC 0.80在测试集样本量5000时，95%置信区间约±0.012；样本量500时约±0.038。两个模型AUC差0.02，样本量不够时根本不显著。评估报告里带上置信区间，能避免很多无效争论。
数据统计上有个常被忽略的点：标签延迟。逾期标签要等账单日后30到60天才能确定，训练时最近两个月的样本标签不完整，直接拿来训练会把“还没逾期”误标成“不逾期”。正确做法是留2个月标签成熟期，或对未成熟样本做加权。某团队没做处理，模型上线后第一个月召回率比离线低9个百分点。
落地检查按步骤来。1）确定主评估指标和阈值，写进需求文档。2）数据按时间切三段，记录切分时间点。3）跑5层指标，每层至少1个数字。4）做分层评估，新老用户、高低活跃各看一遍。5）校准检查，偏差超过20%先修再上线。6）上线后每周算一次PSI，超过0.2触发告警。这套流程在3个团队跑过，模型上线后的效果衰减平均延后了2个月被发现。
