评估分类模型时，准确率是最直观的指标，但它经常误导人。假设一个场景里正样本只占百分之二，模型把所有样本都预测为负，准确率也能达到百分之九十八，看起来很高，实际却毫无用处。
所以评估的第一步是建立基线。最简单的基线就是多数类预测，或者业务上现有的规则策略。新模型只有明显超过基线，才说明它学到了有价值的东西，否则高准确率只是数据不平衡带来的假象。
在类别不平衡时，更该看精确率、召回率和它们的组合指标。精确率高说明预测为正的样本里真阳性多，召回率高说明真正的正样本被找出来的比例高，两者往往需要权衡。
最终要回到业务目标：漏掉一个正样本和误报一个正样本，代价完全不同。先明确哪种错误更贵，再选择对应指标，比单纯追求准确率靠谱得多。
