推荐系统的日志是“有偏”的:只有被曝光的物品才有反馈,排在前面的物品天然获得更多点击。直接拿这些日志训练和评估,模型会学到位置而非真实偏好,形成强者愈强的马太效应。
位置偏差表现为同一物品放得越靠前点击率越高。评估时若实验组和对照组的位置分布不同,指标差异可能来自位置而非模型。做对比实验要保证位置随机化或做位置纠偏。
曝光偏差指物品是否被展示并非随机,热门物品曝光多、长尾物品几乎没机会。用日志算出的点击率对长尾物品估计不准,需要借助逆倾向加权等方法校正。
实践中可以做小流量随机曝光,收集无偏反馈用于评估和训练。也可以把位置作为特征输入模型,让模型显式学习位置影响,预测时置零消除偏差。
评估指标要区分“给定曝光下的排序质量”和“整体推荐效果”。前者用无偏数据算,后者看全量业务指标。两者结合才能判断模型真实水平。