评估分类模型时,准确率是最直观的指标,但在类别极不平衡时它会严重误导。比如一千个样本里只有十个正例,模型全预测为负也能拿到百分之九十九的准确率。
这时候要看混淆矩阵。真正例、假正例、假负例、真负例分别有多少,能清楚暴露模型在哪类错误上集中。不同业务对两类错误的容忍度往往差别很大。
精确率关注预测为正的样本里有多少是真的正例,召回率关注真实正例里有多少被找出来。垃圾邮件过滤更怕误杀正常邮件,疾病筛查更怕漏诊,指标选择要贴合场景。
F1 分数是精确率和召回率的调和平均,适合两者都要兼顾的场合。但单一数字仍会掩盖细节,报告时最好把混淆矩阵和分群表现一起给出。
评估的核心不是追一个高分,而是理解模型在真实分布下会犯什么错、代价多大。