站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

模型评估:离线 NDCG 与线上效果的鸿沟

NDCG 是排序评估的常用指标,它考虑位置因素,越相关的结果排在越前面得分越高,并对头部位置给予更高权重。

NDCG 的计算依赖相关性标注。人工标注成本高且主观性强,用点击作为相关性代理又混入了位置偏差,标注质量直接决定评估可信度。

离线 NDCG 提升但线上效果下降的情况并不少见。原因可能是离线评估集与线上流量分布不一致,也可能是模型过度拟合了标注者的偏好。

另一个问题是 NDCG 只看单次列表质量,不刻画多轮交互中的用户状态变化。推荐是连续过程,用户兴趣会随推荐内容漂移。

建议把 NDCG 作为筛选工具而非决策工具,配合小流量在线实验验证,并关注长期指标如留存与复访,避免短期指标优化损害长期价值。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 数据统计中均值和中位数该怎么选 下一篇 探索与利用:推荐系统为什么不能只推用户喜欢的