排序任务不仅要看是否找对了结果,还要看结果排得够不够靠前。NDCG 和 MRR 都是常用的排序质量指标,侧重点有所不同。
NDCG 考虑位置折损,排在前面的相关结果贡献更大,并对不同相关性等级加权。它适合评估多级相关性场景,比如搜索结果和推荐列表。
MRR 关注第一个相关结果出现的位置,取倒数后平均。它适合用户通常只关心首个正确答案的场景,比如问答和实体检索。
选择指标要贴合用户行为。如果用户会浏览多个结果,NDCG 更合适;如果用户只看第一条,MRR 更能反映真实体验。两者都应在同一测试集上对比才有意义。