某内容平台2022年9月做推荐算法A/B实验，对照组和实验组各分5%流量，跑了3天就宣布实验组人均阅读时长提升2.1%，全量上线。两周后大盘时长反而降了0.8%。原因很简单：实验期只有3天，每天活跃用户约600万，5%即30万人，但时长指标方差大，按标准差45分钟、最小可检测提升1分钟计算，单组所需样本量约31.7万人，3天刚性不足且撞上周末效应。
样本量公式不复杂：n = 16σ²/Δ²（双侧α=0.05、功效80%）。麻烦在于σ的估计。用历史30天数据算σ，某资讯App的日人均时长σ=52分钟，想检测Δ=1.5分钟，单组需约19.2万人；若Δ=0.5分钟，单组需约173万人。很多团队先定流量再定指标，顺序反了。正确顺序是：先定最小可检测提升，再算样本量，最后反推需要多少天和多少流量。
案例二：比例类指标用了均值公式。点击率从3.0%提升到3.15%，σ按二项分布算应为sqrt(p(1-p))≈0.17，单组需约16.4万人。有人直接套用时长公式、把σ当成0.5，算出来单组要142万人，实验硬拖了21天，错过排期。比例指标和连续指标公式不同，混淆一次就是两周工期。
案例三最隐蔽：实验组和对照组用户不独立。某社交产品按设备分桶，同一用户手机和平板分到不同组，跨端行为互相污染，实验组分享率虚高4.3%。改成按用户ID哈希分桶，且哈希盐值每月轮换一次，保证同一用户在同一周期内只进一组。代价是老用户换组会有短暂体验波动，用分层抽样把波动控制在5%以内。
还有一个统计陷阱：多次窥探。实验跑到第3天看一次、第5天看一次、第7天再看一次，每次都做显著性检验，假阳性率从5%涨到约14%。做法是固定实验时长，或者用序贯检验，把α消耗按窥探次数分配，比如3次窥探分别用0.02、0.015、0.015。
指标选择也有讲究。只看CTR会鼓励标题党，某信息流实验CTR涨6%、人均时长跌3.2%、次日留存跌0.4个百分点。护栏指标至少配3个：停留时长、次日留存、负反馈率（举报加不感兴趣）。主指标提升但任一护栏指标恶化超过阈值（如留存跌0.2个百分点），实验判负。
最后是分流比例。两组各50%最灵敏，但业务风险大。常用10%实验组加10%对照组，灵敏度下降约30%，需要样本量增加约1倍。某电商大促前只敢给2%流量，单组样本量约12万，只能检测Δ≥2%的效应，小改进根本测不出来，白白浪费一次实验机会。算清楚再开实验，比开完再解释为什么没显著，省事得多。
