推荐日志不是自然产生的,而是旧策略选择的结果。用户只能点击被曝光的内容,这导致曝光偏差;排在前面的内容获得更多点击,这导致位置偏差。
这些偏差会让模型学到错误规律:高曝光内容被反复强化,冷门内容永远得不到机会。长期下去,内容生态会趋于单一。
纠正方法包括逆倾向加权,对低曝光概率的样本给予更高权重,以及在训练中加入位置特征并在预估时做校正。
理解偏差的存在比盲目追求模型复杂度更重要。数据生成机制本身,往往就是效果瓶颈的根源。
推荐日志不是自然产生的,而是旧策略选择的结果。用户只能点击被曝光的内容,这导致曝光偏差;排在前面的内容获得更多点击,这导致位置偏差。
这些偏差会让模型学到错误规律:高曝光内容被反复强化,冷门内容永远得不到机会。长期下去,内容生态会趋于单一。
纠正方法包括逆倾向加权,对低曝光概率的样本给予更高权重,以及在训练中加入位置特征并在预估时做校正。
理解偏差的存在比盲目追求模型复杂度更重要。数据生成机制本身,往往就是效果瓶颈的根源。