推荐系统的训练数据来自系统自己的推荐结果,这天然带有偏差。用户只能点击被展示的物品,模型学到的只是被展示物品中的偏好,未展示物品的潜力完全未知。
位置偏差更为直接。同样一个物品排在第一位和第十位,点击率可能相差数倍。如果训练时把位置当成普通特征,模型会学到位置本身的吸引力,而不是物品的真实质量。
纠正方法之一是逆倾向加权。为每个样本计算被曝光的概率,用其倒数作为权重,让稀有曝光获得更高权重,从而还原无偏分布。倾向分可以用曝光模型估计。
另一种思路是建模位置作为特征并在服务时置零。训练时把位置特征加入模型,预测时统一设为固定值,剥离位置影响。这种方法简单有效,工业界应用广泛。
还有基于点击模型的方法,如将点击分解为曝光、观察、点击三个环节,分别建模。无论哪种方法,都需要在线实验验证纠正效果,避免过度矫正引入新偏差。