站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

AUC与GAUC:排序评估指标怎么选

AUC是排序模型最常用的离线指标,衡量模型把正样本排在负样本前面的概率。它对样本不均衡不敏感,物理意义清晰,但有一个致命缺陷:它统计的是全局排序,而线上推荐是每个用户各自排序。

举个例子,若模型对活跃用户预测普遍偏高、对沉默用户普遍偏低,全局AUC可能依然不错,但每个用户内部的排序质量未必好。此时需要引入GAUC,即按用户分组计算AUC再加权平均。

GAUC的权重通常取用户曝光量或点击数,使高活跃用户的排序质量获得更高话语权。实践表明GAUC与线上点击率的相关性往往强于全局AUC,因此成为推荐排序的主流离线指标。

除了AUC族,还可关注LogLoss衡量概率校准、NDCG衡量带位置折扣的排序质量、Recall@K衡量头部召回能力。不同指标回答不同问题,应组合使用而非只看单一数字。

需要强调,离线指标只是筛选工具,最终决策必须依赖在线AB实验。离线提升而线上下降的情况并不罕见,原因可能是特征穿越、分布偏移或指标与业务目标不一致。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 从点击率5%到8%:数据统计里的3个常见误判 下一篇 单利怎么算(示例200)