AUC是排序模型最常用的离线指标,衡量模型把正样本排在负样本前面的概率。它对样本不均衡不敏感,物理意义清晰,但有一个致命缺陷:它统计的是全局排序,而线上推荐是每个用户各自排序。
举个例子,若模型对活跃用户预测普遍偏高、对沉默用户普遍偏低,全局AUC可能依然不错,但每个用户内部的排序质量未必好。此时需要引入GAUC,即按用户分组计算AUC再加权平均。
GAUC的权重通常取用户曝光量或点击数,使高活跃用户的排序质量获得更高话语权。实践表明GAUC与线上点击率的相关性往往强于全局AUC,因此成为推荐排序的主流离线指标。
除了AUC族,还可关注LogLoss衡量概率校准、NDCG衡量带位置折扣的排序质量、Recall@K衡量头部召回能力。不同指标回答不同问题,应组合使用而非只看单一数字。
需要强调,离线指标只是筛选工具,最终决策必须依赖在线AB实验。离线提升而线上下降的情况并不罕见,原因可能是特征穿越、分布偏移或指标与业务目标不一致。