辛普森悖论指总体趋势与分组趋势相反:合并数据看 A 组点击率更高,分场景看每个场景都是 B 组更高。原因是各组样本比例不同,合并时权重被扭曲。
推荐场景中这很常见:新策略在男性用户和女性用户中点击率都更高,但整体反而更低,因为新策略被更多分配给了点击率天然较低的人群。直接看总指标会得出错误结论。
避免方法是先做分组分析,按用户群、场景、设备等维度拆开看,再决定是否合并。AB 实验应保证各组人群构成一致,或用分层随机化消除构成差异。
统计上可用加权平均还原真实效应,权重取标准人群的构成比例。回归模型加入分组变量和交互项,也能估计控制构成后的策略效应。
看到总体指标异常时,不要急于下结论,先问一句「人群构成变了吗」。这是数据分析中最实用的一句自检。