排序任务的离线评估不能只看准确率。NDCG 关注位置折损,越靠前的命中贡献越大,适合评估推荐列表和搜索结果的整体排序质量,是排序模型最常用的指标之一。
MAP 衡量的是相关文档在列表中的平均精度,对二值相关性友好。它强调召回全部相关结果的质量,适合检索场景,但对多级相关性(如点击、转化)表达能力有限。
Recall@K 关心前 K 个结果里覆盖了多少相关项,适合召回阶段评估。召回路通常追求高召回,精排再做筛选,所以召回用 Recall、精排用 NDCG 是合理的分工。
指标选择要与业务目标对齐:信息流看重前几位点击,用 NDCG@10;电商搜索看重成交,可加权转化;多样性业务还要加入覆盖率、基尼系数等指标。
离线指标之间常此消彼长,建议同时报告多个指标并做显著性检验,避免因单指标波动做出错误的上线决策。