2023年8月，某内容平台的推荐算法组做了一次A/B测试，实验组点击率3.12%、对照组2.87%，相对提升8.7%，团队准备全量。数据同学多问了一句“样本量多少”，答案是每组4200次曝光、点击约130次。按两比例检验算，p值约0.31，不显著。这次全量被叫停，后来扩到每组1.5万次曝光，差异缩到1.2个百分点，p值0.04，才算站得住。
样本量要提前算，不能跑完再看。点击率基线2.5%、希望检出0.3个百分点的绝对提升，取显著性水平0.05、功效0.8，每组约需1.1万次曝光。如果只想检出0.5个百分点，每组约需4200次。某电商频道2023年6月的实验目标写的是“提升转化率”，没写幅度，跑了3天就下结论，结果复现失败。目标量化到小数点后一位，是基本要求。
置信区间比p值更好用。实验组转化率1.9%、95%置信区间[1.6%, 2.2%]，对照组1.7%、区间[1.4%, 2.0%]，两个区间大幅重叠，说明差异可能来自随机波动。某旅游平台2022年11月的实验中，实验组客单价提升6元，置信区间[-2元, 14元]，跨过0，团队仍上线，两个月后客单价回落，验证了当时的区间判断。
5个常见踩坑记录。第1个，分流不均：按用户ID哈希分流，但新用户注册集中在早8点，两组新老客比例差4个百分点，干扰结果。第2个，实验期间改配置：某团队在第3天调整了推荐位数量，前后数据不可比。第3个，指标定义漂移：点击口径从“点击即算”改成“停留超1秒”，实验组和对照组用了不同版本。第4个，幸存者偏差：只看完成下单的用户，忽略了加购后流失的部分。第5个，多重比较：同时看12个指标，总有一个显著，未做校正。
概率上要理解“显著”不等于“重要”。某工具类应用2023年2月的实验，实验组留存率提升0.15个百分点，p值0.03，统计显著，但按日活50万算，每天多留住750人，对应成本是每月多花2万元服务器费用。业务判断是“不划算”。统计结论和业务结论是两件事，报告里要分开写。
评估实验效果，建议看三层。第一层，核心指标：点击率、转化率、人均时长，各带置信区间。第二层，护栏指标：页面加载时间、接口错误率、退货率，任一恶化超过阈值就停。第三层，分层结果：按新老客、价格带、品类各切3层，看方向是否一致。某生鲜平台2023年10月的实验，整体转化率提升0.4个百分点，但拆开看是新客提升1.1%、老客下降0.2%，最终只对新客灰度。
一个可复用的实验记录模板，6个字段：实验假设（一句话，含量化目标）、样本量计算（基线、最小可检测效应、功效）、分流方案（哈希键、比例）、指标定义（含去重规则和时间窗）、护栏阈值、决策规则（显著且方向一致才全量）。某团队用这个模板跑了14次实验，其中3次因护栏指标恶化被叫停，2次因样本量不足延长周期，返工率从40%降到12%。
时间安排上，实验至少跑满7个自然日，覆盖工作日和周末。某阅读类目2023年5月的实验只跑了周一到周三，周末流量占比35%且点击率高出1.8个百分点，结论不可外推。跑满两周更稳，但要注意季节性，比如开学季、大促前一周的流量结构和平常差异明显，实验窗口要避开或单独标注。
