假设检验是 A/B 实验的统计基础。原假设通常设为两组无差异，通过数据计算在无差异前提下观察到当前结果的概率，即 p 值。p 值小，倾向拒绝原假设。
显著性水平 alpha 是事先设定的门槛，常用 0.05。它控制的是犯第一类错误的概率，即把无差异误判为有差异。alpha 设得越小，越难得出显著结论。
第二类错误是漏判真实差异，其概率用 beta 表示。统计功效是 1-beta，常用 0.8。样本量不足时功效低，真实差异也测不出来，实验容易得出错误结论。
多重比较会抬高假阳性率。同时检验多个指标时，要做校正，比如 Bonferroni 或 FDR 控制。实验设计阶段就要考虑检验次数，别事后补救。
