某工具类App在2023年3月做了一次按钮颜色实验，A组蓝色、B组绿色，7天数据B组点击率高2.3%，p值0.04，团队直接全量。两周后大盘点击率反而降了0.8%。复盘发现：实验期正好赶上一次版本更新推送，B组用户里新版本占比高6个百分点，混杂了版本效应。这个案例说明，AB实验的周期和样本量不能拍脑袋定。
先算样本量。假设基线点击率5%，希望检测到相对提升2%（即5%到5.1%），显著性水平0.05、功效80%，单组样本量约需38万。按每天每组分流2万UV算，至少跑19天。很多团队按7天跑，只能检测到5%以上的相对提升，小改进根本测不出来。常见错误有4个：1）用曝光量代替UV算样本；2）忽略分流不均，两组比例55:45还硬跑；3）中途偷看数据做决策，α膨胀；4）把p=0.05当铁律，不看置信区间宽度。
对比两种实验设计。方案A：固定7天，每天看一次，发现显著就停。方案B：预设14天，第7天做一次中期分析，用序贯检验调整阈值。A方案在10次实验里平均有2.3次假阳性，B方案降到0.6次。代价是B方案平均多跑4天，实验吞吐量降约20%。对周活百万级的产品，建议用B；对日活几千的小产品，样本不够时宁可做准实验（如按城市分组），也别硬上小样本AB。
概率上要理解“显著”不等于“重要”。某推荐位实验得出p=0.03，置信区间是[0.1%, 3.2%]，点估计1.6%。区间下沿0.1%意味着可能几乎没有收益，上沿3.2%又很诱人。决策时看下沿：如果下沿收益覆盖不了开发成本，就不该全量。另一个细节是多重比较：一次实验看8个指标，至少一个p<0.05的概率约34%。正确做法是主指标只留1到2个，其余作辅助指标并做Bonferroni校正（阈值0.05/8≈0.006）。
数据统计里有个坑叫“新奇效应”。2022年某社交产品改版信息流，第1到3天用户停留时长涨8%，第8天回落到涨1%，第15天变成降0.5%。新界面带来的新鲜感会短期抬高指标。判断方法：看实验组和对照组的差值随天数是否收敛，或把实验期切成前7天和后7天分别比较。如果后7天差值不到前7天的一半，就要警惕，建议延长到21天再看。
模型评估和实验评估要分开。离线模型AUC涨了0.02，不代表线上AB能显著。某视频团队统计过2021到2022年的47次排序模型上线，离线AUC提升的模型里只有58%在线上AB达到显著正向。原因包括离线样本分布偏差、线上延迟变化、位置偏差未校正。上线前做一次“离线-线上一致性检查”：取线上1%流量做影子打分，对比离线预估和线上实际CTR的偏差，偏差超过15%就先修校准再实验。
给一份可执行的实验检查步骤。1）明确主指标和最小可检测效应，反推样本量。2）确认分流单元（用户ID还是设备ID），同一用户跨组会污染。3）预设实验周期，周内效应明显的业务至少覆盖一个完整周。4）中期分析最多1次，用序贯方法。5）结束后看置信区间下沿和辅助指标，别只盯p值。6）记录实验期间的版本、运营活动、节假日，作为混杂因素备注。7步里做到前5步，实验结论的可靠性就有基本保障。
