准确率是预测正确的样本占全部样本的比例,看起来最直观,但在类别极不均衡时具有欺骗性。比如负样本占百分之九十九,模型全预测为负也能有百分之九十九的准确率,却毫无用处。
精确率关心预测为正的样本里真正为正的比例,召回率关心真正为正的样本里被预测出来的比例。两者天然矛盾,提高阈值精确率上升召回率下降,降低阈值则相反。
选择哪个指标取决于错误的代价。垃圾邮件过滤更怕误杀正常邮件,应优先精确率;疾病筛查更怕漏诊,应优先召回率。业务场景决定了优化的方向,不能一概而论。
F1 值是精确率和召回率的调和平均,适合需要兼顾两者的场景。但调和平均对大值不敏感,当业务对某一侧有硬性要求时,直接用 P-R 曲线或设定召回下限再优化精确率更合理。
多分类场景下还有宏平均和微平均之分。宏平均对每个类别平等对待,能反映小类表现;微平均受样本多的类别主导。报告指标时应说明平均方式,否则数字无法横向比较。