排序质量评估指标各有侧重,选错指标会让优化方向跑偏。NDCG考虑位置折损和相关性分级,适合多级相关标注的场景,比如搜索结果和推荐列表,能同时反映排序位置和相关程度。
MAP基于二元相关性,强调相关文档的整体排序质量,对召回率敏感。当业务只关心“是否相关”而不区分相关程度时,MAP是简洁可靠的选择。MRR则只看第一个相关结果的位置,适合问答、导航类只关心首位命中的场景。
推荐系统常用NDCG@K和HitRate@K。前者关注头部排序精细度,后者关注头部是否命中。若业务目标是提升首屏点击,HitRate更贴近体感;若要优化整个列表的浏览深度,NDCG更合适。
指标选择应与标注体系匹配。若只有点击与否的二元标签,强上分级NDCG意义有限。同时要固定截断位置K,与线上实际展示数量对齐,否则离线指标与线上体验脱节。