AB 实验是验证算法效果的黄金标准，但很多实验在样本量不足时就下结论。样本量应由基线指标、最小可检测效应、显著水平和统计功效共同决定，提前算好，而不是跑几天看感觉。
显著性检验要看 p 值，但 p 值小不等于效应大。业务上更应关注置信区间和实际提升幅度。一个统计显著但只提升 0.1% 的策略，未必值得上线。
多重比较是常被忽视的陷阱：同时看十几个指标，总会有几个「显著」。应预先指定主指标，或用 Bonferroni、FDR 校正控制假阳性，避免挑指标。
实验期间要避免流量污染和相互干扰。同一用户应稳定分到同一组，社交、网络效应强的产品还需考虑集群随机化，防止组间扩散。
实验结束别急着全量。先看新奇效应和长期指标，必要时做 holdback 实验，观察策略在更长周期内是否依然有效。
