2024年1月，北京一家内容平台上线新推荐模型，离线AUC从0.68涨到0.74，团队预期点击率提升10%。上线一周后，线上CTR反而跌了3.5%。复盘发现，离线评估用了随机切分，而线上是时间序列，用户兴趣漂移导致模型过拟合历史。这次事故让我们重新设计了6项评估指标。
指标1是离线AUC，但切分方式必须按时间。我们用“前80%时间训练、后20%时间测试”，AUC从随机切分的0.74降到0.69，更接近线上表现。常见错误是随机切分，同一用户的行为同时出现在训练集和测试集，造成信息泄漏，AUC虚高0.03-0.05很常见。
指标2是线上CTR，但要分位置看。整体CTR跌3.5%，拆开发现第1屏CTR涨2.1%，第3屏跌9.8%。原因是新模型把高点击商品集中到头部，尾部曝光质量下降。修正方法是加位置偏差校正，用第1屏的CTR作为基准，对其他位置做归一化。
指标3是转化率，不能只看点击。内容平台的“转化”是“点击后阅读超过30秒”。统计7天数据，新模型CTR 8.2%（旧模型8.5%），但阅读完成率从41%升到46%，人均阅读时长从4.2分钟升到4.8分钟。单看CTR会误判，组合看才是正向。
指标4是多样性。用推荐结果的品类熵衡量，旧模型1.51，新模型1.33，明显更集中。用户7日回访率从24%跌到21%。我们在损失函数里加了多样性正则项，权重从0.1调到0.3，熵回到1.62，回访率恢复到25%，CTR只损失0.4%。
指标5是冷启动覆盖率。统计新用户首日推荐，旧模型能覆盖68%的品类，新模型只有52%。原因是新模型依赖用户历史特征，新用户特征缺失时退化严重。补救方案是加规则兜底：无历史用户按地域+时段热度推荐，覆盖率回到71%。
指标6是稳定性。用PSI（群体稳定性指标）监控特征分布，上线后第3天发现“用户活跃度”特征PSI=0.31，超过0.25阈值，原因是春节假期行为变化。及时回滚该特征后，CTR恢复。建议每周跑一次PSI，阈值设0.1预警、0.25告警。
评估流程固定为：离线按时间切分算AUC和NDCG；线上做7天A/B，看CTR、转化率、人均时长、多样性、冷启动覆盖、PSI六项；任何一项恶化超过5%就回滚。这次事故后，新模型上线前的评估周期从3天延长到10天，后续3次上线再没出现离线线上背离。
