AUC 是排序模型最常用的离线指标,衡量正样本得分高于负样本的概率。它不受阈值影响,对类别不平衡也相对稳健,因此被广泛使用。但 AUC 高不等于线上效果好。
AUC 只关心相对顺序,不关心分数绝对值。业务中常需要校准后的概率做出价或多目标融合,此时要看 LogLoss 和校准曲线。AUC 提升而概率失真,融合后可能反而变差。
AUC 对头部排序不敏感。推荐场景更关注前几位的结果,可以用 GAUC、NDCG、MRR 或 Top-K 召回率来评估。不同指标对应不同业务目标,不能只盯一个数。
离线评估还受样本分布影响。训练数据和线上流量分布不一致时,离线 AUC 再高也可能线上翻车。要做时间外验证和分布对比,必要时用线上小流量 A/B 测试确认真实收益。
所以评估模型要组合指标:AUC 看整体排序能力,校准指标看概率质量,Top-K 指标看头部效果,线上实验看业务价值。多角度交叉验证才能得出可靠结论。