样本偏差是数据里最隐蔽的问题。收集到的数据不能代表目标总体,模型学到的规律就会失真。幸存者偏差、选择偏差、曝光偏差都是常见类型。
幸存者偏差只看到活下来的样本。只分析留存用户的行为,会高估产品吸引力。只统计成功案例,会低估风险。意识到样本的进入条件,是识别偏差的第一步。
曝光偏差在推荐场景很普遍。用户只能点击被展示的内容,未展示的物品没有数据。用这种数据训练模型,会强化已有偏好,形成反馈闭环。
纠正偏差需要额外设计。逆倾向加权、随机曝光实验、无偏评估方法都是可选手段。数据不会说谎,但会因采集方式而偏颇。