AB 测试看起来简单，分组对比就行，但实际操作中陷阱不少。最常见的是分流不随机，比如按用户 ID 取模时恰好和某个业务属性相关，导致两组用户本身就不可比。
显著性被滥用也很普遍。实验刚跑一天看到指标涨了就宣布胜利，忽略了样本量不足带来的随机波动。正确做法是实验前估算所需样本量和最短观察周期，避免偷看数据提前决策。
辛普森悖论是更隐蔽的坑。整体看 A 组更好，但分渠道看每个渠道都是 B 组更好，原因是两组在不同渠道的用户占比不同。遇到这种情况必须做分层分析，而不是只看汇总。
指标选择同样关键。只盯点击率可能导致标题党，损害长期留存。实验应设置护栏指标，比如负反馈率、卸载率、投诉率，确保短期收益不以长期体验为代价。
最后要注意实验之间的相互干扰。同期多个实验争抢同一批流量，或者网络效应让用户互相影响，都会污染结果。必要时做正交分层或互斥实验设计。
