A/B测试中的数据统计常见误区

A/B测试是验证策略的常用手段，但结论常被误读。首先样本量要足够，实验时间太短，随机波动会被当成真实差异，导致错误上线。

分流要随机且独立。若两组用户本身有差异，比如新用户都进了实验组，比较就不公平。检查分流是否均衡，是分析第一步。

显著性不等于重要性。统计显著只说明差异不太可能由偶然造成，但差异可能很小、没有业务价值。要结合提升幅度和成本判断。

多次查看结果会抬高假阳性。频繁偷看数据并随时停止，容易在波动高点宣布胜利。预先设定样本量和观察周期，结论更可靠。