推荐和广告系统训练用的日志数据,只记录了被展示过的物品和用户的反馈。未被展示的物品没有数据,这种采样偏差会让模型系统性偏离真实偏好。
曝光偏差是最典型的一种。热门物品曝光多、点击数据多,模型越学越偏向热门,形成马太效应。长尾物品因缺乏曝光被低估,即使质量不错也难获机会。
位置偏差同样普遍。排在前面的物品点击率高,不完全因为更相关,而是更容易被看到。直接用点击率训练,模型会学到位置而非内容偏好。需要通过位置特征建模或逆倾向加权来纠正。
用户自选择也带来偏差。活跃用户行为多,在训练集中占比高,模型可能过度拟合重度用户,对沉默用户预测不准。分层采样和加权能缓解这一问题。
处理采样偏差要在数据统计阶段就识别来源,评估时做分层分析,建模时引入纠偏方法。承认日志不等于真实世界,是做好推荐排序的前提。