从零搭建推荐系统评估体系

推荐系统评估要分层。离线指标看模型能力，线上指标看真实效果，两者不能互相替代。离线AUC高但线上点击不涨，并不罕见。

离线常用召回率、NDCG、覆盖率。除了准确，还要看多样性、新颖性，避免推荐结果千篇一律，让用户感到乏味。

线上关注点击率、转化率、人均时长、留存。短期点击上升但长期留存下降，说明策略可能透支用户信任，要拉长观察窗口。

还要做分群评估。新用户、老用户、活跃用户、沉默用户，对各群体的影响不同。整体指标持平，可能是一部分提升被另一部分下降抵消。