辛普森悖论是指分组比较时各组都占优,合并后总体却处于劣势的统计现象。它在 AB 实验、用户分层分析中频繁出现,是数据解读中最容易踩的坑之一。
经典例子:新方案在男用户和女用户中的转化率都高于旧方案,但总体转化率反而更低。原因在于两组用户的结构比例不同,新方案可能更多落在转化率天然较低的人群上,拉低了总体均值。
推荐场景也常见。某个召回策略在每个品类内的点击率都更高,但整体点击率下降,因为它带来的候选更多集中在低点击品类。若不拆解品类结构,就会误判策略效果。
避免辛普森悖论的关键是分析前先确认混杂变量。分流是否真的随机?各组用户构成是否可比?如果结构不一致,应做分层分析或用加权方法校正,而不是直接比较总体指标。
结论是:总体指标有汇总价值,但下因果结论前必须看分层。分组结论与总体结论冲突时,要找到背后的结构变量,而不是简单选一个相信。