准确率在类别不平衡场景下容易产生误导,例如点击率只有百分之几时,全部预测为不点击也能获得很高的准确率,但模型毫无价值。
更合适的指标包括精确率、召回率和F1值,它们从不同角度刻画分类效果。精确率关注预测为正的样本中有多少真的为正,召回率关注真实正样本被找出了多少。
排序场景常用AUC和NDCG。AUC衡量整体排序能力,NDCG则考虑位置折扣,更贴近用户实际浏览体验,适合评估推荐列表质量。
选择指标要结合业务目标,没有万能指标。建议同时监控多个指标,并明确主指标与辅助指标的关系,避免单指标优化带来副作用。