一个欺诈检测模型准确率99.2%，上线后漏掉约三成欺诈单。原因是欺诈占比只有0.8%，全判“正常”也有99.2%准确率。评估指标选错，等于没评估。
场景不同指标不同。1）欺诈检测看召回和金额加权，漏一单5000元比误杀10单200元严重；2）推荐排序看NDCG和多样性；3）搜索看Top3命中率；4）流失预测看提升度（lift），Top10%人群的流失率是否达均值3倍；5）风控额度看KS，通常要求≥0.3；6）回归类定价看MAE，且要分价格带看。
混淆矩阵四个数要一起报。某医疗预约模型：TP 820、FP 190、FN 140、TN 8850。准确率96.6%，但召回85.4%、精确率81.2%。如果业务是“宁可多约不可漏约”，就该调阈值把召回拉到92%，代价是FP涨到约380，每天多打190个电话，按每通成本3元算，日增570元，可接受就调。
上线三条红线。红线一：训练集和测试集按时间切，不能随机切，随机切会让未来信息泄漏，离线指标虚高5-10个百分点；红线二：关键分组指标不能塌，比如新用户、低活用户、某地区，总指标涨但分组跌超3个百分点要拦；红线三：必须做一次“笨基线”对比，用规则或最近7天均值当基线，模型提升不到2个百分点就别急着上。
一个对照案例。两个团队做同一批商品的销量预测。A用复杂模型，离线MAPE 18%；B用简单模型加周内季节因子，MAPE 21%。上线后A的MAPE 26%、B的23%，因为A过拟合了促销期数据。评估要看稳定性：把测试集切成4段，指标波动超过±5个百分点就警惕。
阈值选择别拍脑袋。把预测值从0.1到0.9按0.05步长扫一遍，画召回-精确曲线，结合人工成本选点。某内容审核场景，阈值0.75时每天拦截1.2万条、误杀率4%；阈值0.85时拦截8000条、误杀率1.8%，漏放增加约600条。选哪个取决于漏放的代价。
评估报告写三行就够：指标、分组、基线对比。多写没人看，少写会背锅。
