站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

幸存者偏差:你看到的数据可能已失真

幸存者偏差源于只观察到经过筛选后留下的样本,而忽略被淘汰的样本。二战中统计返航飞机的弹孔分布,得出应加固弹孔密集处,而正确结论恰恰相反:应加固没有弹孔的部位,因为那里中弹的飞机没能返航。

互联网场景中此类偏差无处不在。分析活跃用户的特征来优化产品,会忽略流失用户为何离开;统计课程完成率时只看到坚持下来的学员,会高估课程吸引力;评估推荐效果时只看被曝光物品,会忽略从未获得曝光的物品。

在推荐系统中,曝光日志本身就是筛选后的结果。模型只能从被展示的物品上学习,未被展示的物品永远没有反馈,形成闭环偏差。解决思路包括随机探索、逆倾向加权和引入无偏评估数据。

数据采集环节的缺失同样造成偏差。埋点失败、日志丢失、样本截断都会让分析结果偏离真实。分析前应先核对数据完整性,确认样本选择机制是否与结论相关。

识别幸存者偏差的关键是追问:这些样本是如何进入我的数据集的?哪些样本被系统性排除了?排除机制是否与我要研究的结论相关?回答清楚这三个问题,才能判断结论是否可信。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 数据统计描述:均值中位数与分布 下一篇 推荐系统数据链路:埋点、日志与样本拼接