某视频APP一年跑400多个推荐实验，约六成结论在复验时无法重现。复盘7个案例，问题集中在统计口径和实验设计上。
案例1，样本比例失衡。实验组与对照组设计为50比50，实际分流后是53比47，原因是分流SDK在冷启动时有偏向。用SRM检验（卡方检验，阈值p小于0.001）发现后修正分流逻辑，此前该实验的结论全部作废。
案例2，多重比较未校正。一次实验同时看12个指标，有2个p值小于0.05就宣布胜利。按Bonferroni校正，阈值应降到0.05除以12约0.004，两个指标都不显著。看指标数量越多，假阳性越容易发生。
案例3，新奇效应。新排序上线首日CTR涨0.4个百分点，第7天回落到基线附近。取7天累计数据与首日数据对比，结论完全相反。规则改为至少观察7个完整日，且剔除首日。
案例4，网络效应干扰。社交推荐实验中，实验组用户看到的内容被对照组用户互动影响，两组不独立。改为按地理区域分流（城市级随机），牺牲部分样本量换取独立性。
案例5，指标方差估计错误。用历史方差估算样本量，实际实验期恰逢大促，指标波动是平时的2.5倍，导致检测功效不足。改为用实验前2周的滚动方差并上浮20%作为保守估计。
案例6，幸存者偏差。只统计完成7日留存的用户，实验组留存率高是因为早期流失用户未被计入。改为全量用户口径，结论从“实验组优”变为“无差异”。
案例7，延迟指标误判。用次日数据评估长期留存，相关系数只有0.35。后续改为观察14天，样本量需求增加约4倍，但结论可靠度明显提升。
最小样本量怎么估：以CTR从3.0%提升到3.2%为例，双侧alpha 0.05、功效80%，每组约需11.5万次曝光。若指标是人均时长（方差大），同等效应量下每组可能需要50万用户以上。估算公式简单，难的是把方差和最小可检测效应提前定清楚。
实验平台应强制三件事：分流后先跑SRM检验、指标清单预注册、结论需两次独立实验复现才能全量。规则落地后，复验一致率从约40%提升到75%。
