2023年6月，某内容平台想验证新版排序对人均阅读时长的影响。基线人均时长18.5分钟，标准差7.2分钟，希望检测到0.6分钟的提升，显著性水平0.05，功效0.8。产品同学凭经验说「每组5000人就够」，实际算下来每组需要约2.3万人。
估算公式用双样本均值检验：n=2×(1.96+0.84)²×σ²/Δ²。代入σ=7.2、Δ=0.6，得n≈2×7.85×51.84/0.36≈2.26万。两组共4.5万人。当时日活约6万，按50%分流每天3万人进实验，计划跑3天。样本量低估导致实际跑了14天，多花11天，按每天实验维护人力加流量机会成本约4200元算，多支出4.6万元。
常见错误有3个。①用比例指标公式算均值指标，方差项搞错；②忽略分流不均，实际实验组占比47%而非50%，有效样本再打折扣；③中途偷看结果并提前停止，导致假阳性率从5%升到约15%。第3条最隐蔽，团队在第5天看到p=0.04就准备全量，幸好复核拦下。
概率常识要讲清楚：p值0.04不代表「新版好」的概率96%，它只表示在原假设下出现该数据的概率4%。中途多次检验需做校正，比如用序贯检验的α消耗函数，或把显著性阈值降到0.01。该团队后来改用每3天一次的序贯检验，边界值按O'Brien-Fleming法计算。
模型评估部分，离线指标和在线指标要对齐。离线用AUC和NDCG@10，在线看人均时长和次日留存。这次实验离线AUC从0.74到0.75，提升0.01，但人均时长只涨0.2分钟，未达0.6分钟的最小可检测效应。结论是离线提升没传导到在线，可能特征和线上延迟不一致，排查发现特征管道有6小时延迟，修正后离线在线相关性从0.41升到0.63。
分流设计也影响样本效率。按用户ID哈希分流，两组各50%，但新用户注册当天被分到实验组的比例偏高3个百分点，因为注册流程里有个弹窗只在实验组出现。改用注册完成后再分流，均衡度改善，所需样本量降低约8%。
复盘清单共7条：①实验前写清最小可检测效应和样本量计算过程；②分流后24小时做SRM检验，偏差超1%暂停；③预设检验次数和停止规则；④离线在线指标映射表提前对齐；⑤特征延迟纳入实验前置检查；⑥实验周期覆盖完整周内周期，至少7天；⑦结论附置信区间而非单点。
这次教训的直接产出是一张实验配置表，含指标类型、方差估计、样本量、周期、停止规则5列。团队之后3个月跑了9个实验，平均周期从12天降到7天，没有一个因样本量不足而返工。
