AUC 衡量模型将正样本排在负样本之前的能力,取值在零点五到一之间。它等价于随机抽取一正一负样本,正样本得分更高的概率。
AUC 对类别不平衡不敏感,这是优点也是局限。它只关心排序,不关心概率是否校准,也不反映具体阈值下的精确率和召回率。
业务中常需要固定阈值做决策,此时AUC无法回答该选哪个阈值。精确率召回率曲线和业务成本分析,才是阈值选择的依据。
此外AUC是全局指标,可能掩盖局部群体的表现差异。建议分人群、分场景计算AUC,避免整体指标掩盖弱势群体的效果下滑。
AUC 衡量模型将正样本排在负样本之前的能力,取值在零点五到一之间。它等价于随机抽取一正一负样本,正样本得分更高的概率。
AUC 对类别不平衡不敏感,这是优点也是局限。它只关心排序,不关心概率是否校准,也不反映具体阈值下的精确率和召回率。
业务中常需要固定阈值做决策,此时AUC无法回答该选哪个阈值。精确率召回率曲线和业务成本分析,才是阈值选择的依据。
此外AUC是全局指标,可能掩盖局部群体的表现差异。建议分人群、分场景计算AUC,避免整体指标掩盖弱势群体的效果下滑。