幸存者偏差在推荐分析中极为常见。只看点击用户的后续行为,会得出“被点击内容质量高”的结论,却忽略了大量未点击用户的沉默反馈。沉默数据往往才是多数,忽略它会系统性高估效果。
典型误区是只用曝光点击样本训练和评估。未曝光物品没有机会展示,若分析时把它们排除在外,就相当于假设它们必然表现差,导致长尾内容被永久埋没,生态逐渐固化。
另一个误区是只统计活跃用户。高频用户行为丰富、指标好看,但他们不代表全体。新用户和低活跃用户的体验问题会被平均值掩盖,建议按用户分层看指标,并单独关注新用户首日表现。
纠正方法是明确分析总体和样本框,区分曝光、点击、转化各环节的分母。对缺失数据保持警惕,必要时做敏感性分析,看看结论在极端假设下是否依然成立。