分类模型评估中,准确率、精确率和召回率是三个基础指标,但很多人只报准确率,这在类别不平衡时会严重误导。理解三者含义和取舍,是模型评估的基本功。
准确率是预测正确的比例。当负样本占 99% 时,全部预测为负也能有 99% 准确率,但模型毫无用处。所以不平衡场景下准确率参考价值有限。
精确率是预测为正的样本中真正为正的比例,召回率是真实正样本中被找出的比例。两者通常此消彼长:提高阈值精确率上升、召回率下降,降低阈值则相反。
选择哪个指标取决于业务代价。垃圾内容拦截更看重精确率,宁可漏放不可错杀;疾病筛查更看重召回率,宁可误报不可漏诊。要结合误判成本来确定优化方向。
F1 分数是精确率和召回率的调和平均,适合两者都重要时使用。但 F1 隐含两者同等重要,业务中未必成立。更稳妥的做法是画 PR 曲线,观察不同阈值下的权衡,再结合业务选点。