分析用户流失时只研究留下的人,分析成功案例时只采访活下来的公司,都会得到系统性偏差的结论。你看到的样本,往往已经经过了某种筛选。
推荐场景里也有类似问题。只看被点击的内容,会得出标题越夸张越好的结论,却忽略了大量未被点击的高质量内容,因为它们在曝光前就被别的机制筛掉了。
对抗方法一是补齐分母,二是主动收集反例。做用户研究时专门找流失用户,做内容分析时抽样未点击样本,才能看到完整图景。
凡是结论来自已经存在的样本集合,都要先问一句:这个集合是怎么来的,被筛掉了什么。
分析用户流失时只研究留下的人,分析成功案例时只采访活下来的公司,都会得到系统性偏差的结论。你看到的样本,往往已经经过了某种筛选。
推荐场景里也有类似问题。只看被点击的内容,会得出标题越夸张越好的结论,却忽略了大量未被点击的高质量内容,因为它们在曝光前就被别的机制筛掉了。
对抗方法一是补齐分母,二是主动收集反例。做用户研究时专门找流失用户,做内容分析时抽样未点击样本,才能看到完整图景。
凡是结论来自已经存在的样本集合,都要先问一句:这个集合是怎么来的,被筛掉了什么。