准确率直观但容易误导。类别不平衡时,全预测多数类也能得到高准确率。评估分类模型,至少要同时看精确率、召回率和 F1,才能看清全貌。
精确率关注预测为正的样本中有多少是真的,召回率关注真实正例被找出了多少。两者往往此消彼长,选哪个取决于业务代价。漏判代价高就偏召回,误判代价高就偏精确。
排序场景常用 AUC 和 NDCG。AUC 衡量整体排序能力,对类别比例不敏感;NDCG 考虑位置权重,更贴近展示效果。指标要匹配任务目标,别拿分类指标评排序。
线上评估不能只看离线指标。离线提升不代表线上收益,A/B 实验才是最终裁判。建立离线到线上的评估链路,是算法落地的必修课。