一个按钮颜色改动，AB测试跑了14天，结论「显著提升」。三个月后全量上线，效果归零。复盘发现样本量计算时把基线转化率填错了——填的是5%，实际是2.1%。这个错误让团队多投入约200万元运营预算去追一个不存在的收益。
样本量公式的核心参数有四个：基线指标p、最小可检测效应δ、显著性水平α、统计功效1-β。常见取值α=0.05、β=0.2。当p=2.1%、δ=相对提升5%（即绝对0.105个百分点）时，每组需要约28万样本；而p=5%时只需约11万。差了2.5倍，这就是填错基线的代价。
计算步骤（按顺序）：1）取最近4周同指标均值作为p，不要用单日峰值；2）δ由业务方定，通常相对提升3%-10%，低于3%需要海量样本，性价比低；3）查表或工具算每组样本量；4）用日均分流数除，得到最少实验天数；5）实验天数为7的整数倍，覆盖完整周期效应。某团队算出需要12天，硬跑7天就下结论，周中与周末用户行为差异达18%，结论不可靠。
对比两种实验设计：固定样本量 vs 序贯检验。固定样本量要等跑满，序贯检验可提前停止但需校正α。某推荐团队用序贯检验（α spending函数），平均实验周期从14天缩到8天，但需要额外约5%样本抵消多重检验损耗。小流量场景（日分流<5000）建议固定样本量，别用序贯。
案例：某会员定价测试，A组19.9元、B组21.9元，每组分配5万用户。两周后B组转化率高0.8个百分点，p值0.04，宣布显著。但细看分组：B组新用户占比高6个百分点，新用户本就转化高。做分层分析后差异消失。教训：分流要做分层随机（按新老、渠道、地域），事后必须做SRM（样本比例失衡）检验，卡方p<0.001即判实验无效。
概率上的多重比较问题：一次实验中同时看7个指标（点击、转化、时长、留存、分享、收藏、客单价），即使全部无差异，至少一个指标p<0.05的概率约30%。对策：1）事前指定1个主指标；2）次要指标用Bonferroni校正，α除以指标数；3）看置信区间而非仅看p值。
模型评估与AB测试的关系：离线AUC提升不等于线上收益。某排序模型离线AUC+0.02，线上实验人均时长变化+0.3%，95%置信区间[-0.1%, +0.7%]，不显著。结论应为「未能证明有效」而非「无效」，两者措辞差别影响后续决策。
避坑清单：1）基线用4周均值；2）δ不低于3%；3）跑满7的倍数天；4）分层随机+SRM检验；5）主指标唯一；6）报告置信区间；7）不显著时写「未证明有效」。某公司把这7条写进实验平台强制校验后，无效实验占比从41%降到17%。
