AB 实验的第一件事是算样本量。样本量取决于基线指标、最小可检测效应和显著性水平。效应越小需要的样本越多，别拍脑袋说跑一周就行。
显著性水平通常取 0.05，统计功效取 0.8。这两个参数加上基线转化率和相对提升幅度，就能用公式或工具算出每组所需样本。流量不足时只能放大效应预期或延长时间。
实验分流要保证随机且独立。按用户 ID 哈希分流比按请求分流更稳，避免同一用户看到不同版本导致体验割裂和指标污染。分流比例要平衡，别 90 比 10。
实验期间不要频繁看指标并提前停止，这会显著抬高假阳性率。可以用序贯检验方法，或者固定周期看一次。任何中途改动都要记录，否则结论不可信。
