幸存者偏差指只统计到“幸存下来”的样本,忽略了被淘汰或消失的部分,从而得出错误结论。二战时统计返航飞机弹孔分布,最初想加固弹孔多的部位,后来意识到该加固的是弹孔少的地方,因为那里中弹的飞机没能返航。
互联网数据里这种偏差无处不在。分析活跃用户行为,结论只适用于活跃用户,不能推广到全体。看成功产品的方法论,往往忽略了大量用同样方法却失败的产品。
评估推荐效果时也一样。只统计曝光过的物品点击率,会高估系统能力,因为没被曝光的物品根本没有机会被点击。要区分曝光、点击、转化各环节的样本口径。
减少偏差的办法是主动寻找缺失样本,明确数据收集过程,问一句“哪些对象没被记录下来”。这个习惯能避免很多看似合理实则错误的推断。