做A/B测试时，常见错误是跑了两天看到实验组指标高一点就宣布胜出。样本量不足时，指标波动可能完全来自随机性，这种差异在统计上并不显著，上线后很可能反转。
确定样本量需要提前计算。要明确基线指标、希望检测到的最小提升幅度、显著性水平和统计功效，再据此估算每组需要多少样本。凭感觉决定跑多久，很容易把噪声当成信号。
另一个问题是提前偷看。反复查看结果并在显著时停止，会显著抬高假阳性率。正确做法是预先设定实验时长和样本量，中途只在有严重问题时才叫停。
还要注意实验单元和分流是否干净。同一用户被分到两组、设备与账号不一致、埋点缺失，都会污染结果。样本量和分流质量才是A/B测试可信的前提。
