排序模型依赖用户行为日志,但日志本身带有强烈的选择偏差。用户只点击了被展示的内容,未被展示的内容永远没有反馈,直接拿这些数据训练,模型会继承旧系统的偏好。
位置偏差同样存在。排在前面的内容获得更多点击,模型会误以为它更相关,而不是位置更好。常用做法是加入位置特征或在损失函数中做纠偏。
负样本的构造也很讲究。把未点击当作负样本,可能把用户根本没看到的内容错标为负,需要结合曝光日志和随机采样来处理。
训练数据的质量决定模型上限。理解数据是怎么产生的,比调模型结构更能提升效果。
排序模型依赖用户行为日志,但日志本身带有强烈的选择偏差。用户只点击了被展示的内容,未被展示的内容永远没有反馈,直接拿这些数据训练,模型会继承旧系统的偏好。
位置偏差同样存在。排在前面的内容获得更多点击,模型会误以为它更相关,而不是位置更好。常用做法是加入位置特征或在损失函数中做纠偏。
负样本的构造也很讲究。把未点击当作负样本,可能把用户根本没看到的内容错标为负,需要结合曝光日志和随机采样来处理。
训练数据的质量决定模型上限。理解数据是怎么产生的,比调模型结构更能提升效果。