幸存者偏差源于只观察到经过筛选后留下的样本,而忽略被淘汰的样本。二战中统计返航飞机的弹孔分布,得出应加固弹孔密集处,而正确结论恰恰相反:应加固没有弹孔的部位,因为那里中弹的飞机没能返航。
互联网场景中此类偏差无处不在。分析活跃用户的特征来优化产品,会忽略流失用户为何离开;统计课程完成率时只看到坚持下来的学员,会高估课程吸引力;评估推荐效果时只看被曝光物品,会忽略从未获得曝光的物品。
在推荐系统中,曝光日志本身就是筛选后的结果。模型只能从被展示的物品上学习,未被展示的物品永远没有反馈,形成闭环偏差。解决思路包括随机探索、逆倾向加权和引入无偏评估数据。
数据采集环节的缺失同样造成偏差。埋点失败、日志丢失、样本截断都会让分析结果偏离真实。分析前应先核对数据完整性,确认样本选择机制是否与结论相关。
识别幸存者偏差的关键是追问:这些样本是如何进入我的数据集的?哪些样本被系统性排除了?排除机制是否与我要研究的结论相关?回答清楚这三个问题,才能判断结论是否可信。