在正负样本比例悬殊的场景,准确率会给出误导性结论。比如一百个样本里只有一个正例,模型全预测负例也有百分之九十九的准确率。
这时更该关注精确率和召回率。精确率衡量预测为正的样本里有多少真正为正,召回率衡量真正的正例有多少被找出来。
两者往往此消彼长,可以用 F1 值做折中,也可以根据业务代价调整阈值。漏判代价高就偏向召回,误判代价高就偏向精确率。
还要注意混淆矩阵的四个格子,它们比单一指标信息量大得多。先看分布,再选指标,最后才谈优化。
在正负样本比例悬殊的场景,准确率会给出误导性结论。比如一百个样本里只有一个正例,模型全预测负例也有百分之九十九的准确率。
这时更该关注精确率和召回率。精确率衡量预测为正的样本里有多少真正为正,召回率衡量真正的正例有多少被找出来。
两者往往此消彼长,可以用 F1 值做折中,也可以根据业务代价调整阈值。漏判代价高就偏向召回,误判代价高就偏向精确率。
还要注意混淆矩阵的四个格子,它们比单一指标信息量大得多。先看分布,再选指标,最后才谈优化。