AUC 衡量的是随机取一个正样本和一个负样本,模型给正样本打分更高的概率。它的取值在 0.5 到 1 之间,0.5 相当于随机猜测,越接近 1 区分能力越强。
很多人把 AUC 理解为准确率,这是错误的。AUC 只关心排序,不关心绝对分值,因此它对阈值不敏感,适合评估排序类任务。
AUC 高不代表业务效果好。如果正样本极其稀疏,模型只需把少数容易识别的正例排前面,AUC 就能很高,但对大多数普通样本的排序质量可能很差。
当负样本经过下采样时,AUC 会被人为抬高,需要做校正或改用其他指标。跨数据集比较 AUC 时,务必确认采样方式与样本构造一致。
实践中建议 AUC 与 GAUC、NDCG、校准指标搭配使用。单一指标永远无法完整刻画模型价值,组合评估才更接近真实效果。