推荐系统离线评估与在线评估的差距从何而来

离线评估用历史数据训练和测试模型，成本低、迭代快，但结果常与线上表现不一致。理解差距来源，才能正确使用离线指标。

差距首先来自分布差异。离线数据是旧策略产生的，新模型改变了推荐结果，用户反馈分布也随之改变，形成反馈回路偏差。

其次是评估目标差异。离线常优化点击率代理指标，线上还要考虑多样性、新鲜度和长期留存，目标并不完全一致。

减少差距的方法包括使用逆倾向加权纠正偏差、引入线上小流量验证，以及把离线评估定位为筛选而非最终决策。