2月的一次按钮颜色实验，A组蓝按钮、B组红按钮，各分配5000用户。7天后B组点击率高1.8个百分点，团队准备全量。冷静一下：假设真实差异为0，两组各5000样本、基准点击率10%，差值的标准误约√(2×0.1×0.9/5000)≈0.6%。1.8%的差异约等于3个标准误，p值约0.003，看起来显著。但这是跑了7天、中途看过3次数据的结果。多次偷看会让假阳性率从5%涨到约14%。
多重比较是隐形杀手。某次实验同时看12个指标：点击率、转化率、停留时长、分享率、收藏率、跳出率等。其中3个指标p值小于0.05，团队挑了最好看的那个汇报。如果12个指标都无真实差异，至少1个碰巧显著的概率是1-0.95^12≈46%。正确做法是事先指定1个主指标，其余作为辅助参考，或者对p值做Bonferroni修正，阈值从0.05降到0.05/12≈0.004。
样本量可以提前算。若基准转化率5%，希望检测到相对提升10%（即5.5%），取α=0.05、β=0.2，每组所需样本约n=16×p(1-p)/δ²，其中δ=0.005，p=0.05，代入得16×0.0475/0.000025≈30400。也就是每组至少3万人，总共6万。某团队只准备了8000人就想检测10%的相对提升，结果实验做完了什么也说明不了，白烧两周流量。
辛普森悖论在分渠道数据里很常见。整体看B组转化率4.8%高于A组4.5%。分渠道拆开：新用户里A组6.1%、B组5.9%；老用户里A组3.2%、B组3.1%。两个分层A都赢，整体B却赢。原因是B组的新用户占比只有22%，A组有41%，新用户转化率高把A组整体拉上去了。分渠道看结论会反转，实验分流必须做分层随机。
幸存者偏差藏在留存分析里。某功能上线30天，统计使用过该功能的用户次日留存是58%，未使用的是35%，结论是功能提升留存23个百分点。但使用该功能的用户本身就是活跃用户，他们本来留存就高。正确做法是看实验组和对照组：随机让一半用户看到入口，一半看不到，30天后对比两组留存。某产品做完这个实验，真实提升只有1.9个百分点，远小于23。
小概率事件别忽略尾部。某推荐系统上线后，99%的请求延迟在80毫秒内，平均值62毫秒，看似达标。但看P99.9，延迟到了2.3秒，每天约8万次请求受影响。这部分用户里，次日卸载率比正常用户高3倍。平均值掩盖了长尾，而长尾往往决定口碑。评估系统要看P50、P90、P99、P99.9四个点，而不是一个均值。
