推荐系统训练数据来自系统自身的曝光日志,这天然带来偏差。用户只能对曝光过的物品产生点击,未被曝光的优质物品永远没有机会。若直接把曝光日志当作无偏样本训练,模型会系统性高估热门位置和热门物品的效果。
位置偏差更为直接:排在第一位的物品点击率天然更高,与物品本身质量无关。若不做校正,模型会学到“位置靠前就该被点击”的虚假规律,导致排序越来越倾向于维持原有格局,形成马太效应。
常见校正方法包括基于点击模型的偏差估计、逆倾向加权和位置特征作为辅助任务。逆倾向加权给低频曝光样本更高权重,但方差较大,需要配合裁剪或归一化。另一种思路是把位置作为特征输入、预测时置为统一值,从而剥离位置影响。
偏差校正的效果评估不能只看离线AUC。更可靠的方式是小流量在线实验,观察校正后长尾物品的曝光占比和整体用户停留时长是否改善。偏差处理本质是在短期指标与长期生态健康之间做权衡。