分类模型评估中,准确率是最直观的指标,即预测正确的样本占比。但它在类别不均衡时极具误导性:若负样本占99%,模型全部预测为负也能获得99%的准确率,却毫无实用价值。
精确率回答“预测为正的样本中有多少真的是正”,召回率回答“真正的正样本中有多少被找出来”。二者此消彼长,提高阈值通常提升精确率、降低召回率,需要根据业务场景权衡。
场景决定取舍:垃圾邮件过滤宁可错杀不可放过,偏向高精确率;疾病筛查宁可误报不可漏诊,偏向高召回率;推荐系统召回阶段追求高召回,排序阶段追求高精确。
F1分数是精确率与召回率的调和平均,适合需要平衡二者的场景。但F1隐含认为两者同等重要,若业务代价不对称,应使用带权重的Fβ分数或直接构建代价敏感评估。
混淆矩阵是所有二分类指标的基础,建议在报告中同时给出TP、FP、TN、FN四个计数,让读者能自行换算任意指标。只报单一数字往往掩盖了错误的分布结构。