准确率是最直观的评估指标,但在类别不平衡场景下极易误导。比如负样本占九成,模型全部预测为负也能得到九成的准确率,却毫无实用价值。
推荐场景更常用精确率、召回率和 F1。精确率衡量推荐中有多少是用户真正感兴趣的,召回率衡量用户感兴趣的内容有多少被推荐出来,二者往往此消彼长。
排序任务常用 AUC 和 NDCG。AUC 衡量整体排序能力,NDCG 则考虑位置因素,越靠前的结果权重越高,更贴近真实体验。
选择指标要匹配业务目标。只优化单一指标容易走偏,通常需要主指标加辅助指标的组合,才能全面反映模型表现。