只看准确率容易误判。类别极不均衡时,把所有样本判为多数类也能得到高准确率,但模型毫无用处。评估要先看清业务关心什么。
分类任务常用精确率、召回率、F1值。精确率高说明判正的少出错,召回率高说明漏判少。二者往往此消彼长,需要根据场景取舍。
排序任务更关心顺序质量,可用AUC、NDCG、MAP等指标。AUC衡量整体排序能力,NDCG考虑位置权重,更贴近推荐和搜索的体验。
回归任务看MAE、RMSE,还要看误差分布。平均误差小不代表每个区间都好,分群评估能发现被平均掩盖的问题。
只看准确率容易误判。类别极不均衡时,把所有样本判为多数类也能得到高准确率,但模型毫无用处。评估要先看清业务关心什么。
分类任务常用精确率、召回率、F1值。精确率高说明判正的少出错,召回率高说明漏判少。二者往往此消彼长,需要根据场景取舍。
排序任务更关心顺序质量,可用AUC、NDCG、MAP等指标。AUC衡量整体排序能力,NDCG考虑位置权重,更贴近推荐和搜索的体验。
回归任务看MAE、RMSE,还要看误差分布。平均误差小不代表每个区间都好,分群评估能发现被平均掩盖的问题。