NDCG 是排序评估的常用指标,它考虑位置因素,越相关的结果排在越前面得分越高,并对头部位置给予更高权重。
NDCG 的计算依赖相关性标注。人工标注成本高且主观性强,用点击作为相关性代理又混入了位置偏差,标注质量直接决定评估可信度。
离线 NDCG 提升但线上效果下降的情况并不少见。原因可能是离线评估集与线上流量分布不一致,也可能是模型过度拟合了标注者的偏好。
另一个问题是 NDCG 只看单次列表质量,不刻画多轮交互中的用户状态变化。推荐是连续过程,用户兴趣会随推荐内容漂移。
建议把 NDCG 作为筛选工具而非决策工具,配合小流量在线实验验证,并关注长期指标如留存与复访,避免短期指标优化损害长期价值。