某内容平台2023年10月要验证新版排序模型，产品经理拍板「每组3000用户，跑7天」。上线后实验组人均阅读时长涨了4.2%，看起来是赢了。但把时间拉长到14天，涨幅缩到1.1%，再拉长到21天，变成-0.3%。7天的结论不仅不准，方向都反了。
先算样本量。人均阅读时长这类连续指标，假设标准差约12分钟，想检测2%的相对提升（约0.8分钟），α=0.05、power=0.8，每组需要约3500用户。3000用户略欠，但更致命的是时间——阅读时长有明显的新奇效应，用户对新推荐结果的好奇心通常在前3-5天最强，之后回落。7天窗口里，新奇效应占了大头。
对比一个正确做法。同团队2024年1月做第二次实验，规则改成：每组5000用户，先跑7天看方向，再跑满14天看稳定性；同时设一个「反向实验组」——把新老模型对调，验证实验框架本身有没有位置偏差。结果反向组的差异只有0.2%，在噪声范围内，说明框架可信。最终新版模型的稳定提升是1.6%，和第7天的4.2%差了2.6个百分点。
常见错误清单，5条：1）实验期覆盖不到一个完整的周周期，周末和工作日行为差异能到30%；2）分流不均匀，按用户ID哈希取模但ID有连续性，导致某类用户扎堆；3）指标只看均值不看分布，人均时长涨了但P90用户时长跌了，说明重度用户被伤害；4）中途看结果就下结论，连续查看5次、每次α=0.05，假阳性率会升到约23%；5）实验组和对照组共享同一个缓存池，互相污染。
再看一个业务侧的案例。某电商2023年6月测试新排序，两组各8000用户跑10天，实验组GMV涨3.1%，但退款率从2.4%升到3.3%。只盯GMV就会误判为赢。把「GMV减去退款」做净收入指标后，实验组反而低0.8%。最终该模型没有全量。这个例子的教训是：实验开始前就要把「护栏指标」定好，通常至少3个——退款率、差评率、页面加载耗时。
时间窗口怎么定？给一个经验规则：至少覆盖2个完整自然周，且实验期内不能有大促、版本更新、推送活动。某工具类App 2022年的一次实验撞上了系统推送，实验组当天DAU涨22%，结论完全失真。另外，涉及用户习惯改变的策略（比如信息流改版），建议观察期拉长到28天。
最后是一份执行顺序，7步：1）写下假设和主指标，只写1个；2）确定最小可检测提升，反推样本量；3）检查分流哈希的均匀性，抽1万用户看分组比例；4）预设护栏指标和停止规则；5）跑满预设周期再看结果；6）看均值也看分位数；7）全量前用5%-10%流量灰度3天。这套流程跑下来，单次实验周期大约多花5天，但能避免把噪声当成果。
