A/B实验跑多久，很多人凭感觉。按公式算：每组样本量n≈16σ²/Δ²，σ是指标标准差，Δ是想检测的最小提升。以点击率为例，基线5%，想检测0.25个百分点的绝对提升（相对5%），σ约0.22，算下来每组约12.4万曝光。日曝光50万的场景，两组各分一半，一天就够样本量——但别急着停。
样本量够不等于能停。周内效应很明显：周一和周末的用户行为差20%以上。实验至少覆盖一个完整周（7天），最好两个周（14天）。某次只跑了3天的实验显示转化率提升8%，延长到14天后回落到2.1%，前3天恰好撞上发薪日。
看指标要看两类。一类是核心指标（点击率、转化率、人均时长），另一类是护栏指标（页面加载耗时、举报率、退订率）。常见错误是只盯核心指标涨了3%就全量，结果加载耗时多了200毫秒，次周留存掉了1.5个百分点。护栏指标建议设硬阈值：加载耗时增幅超过10%直接叫停。
显著性怎么读。p值小于0.05只是“差异不太可能是偶然”，不代表提升大。同时看置信区间：提升2%、区间[0.3%, 3.7%]，说明方向可信但幅度不确定；区间跨0就不能下结论。多个指标一起看时，做10次检验出现1次假阳性的概率约40%，用Bonferroni把阈值调到0.05/10=0.005更稳。
案例对比：两个团队做同一功能。A团队跑7天，样本每组8万，检测到CTR提升0.18个百分点，p=0.04，直接上线；B团队跑14天，样本每组16万，提升0.11个百分点，p=0.21，结论不显著。后续全量一个月，实际提升约0.05个百分点。A团队的结论偏乐观，原因是样本不足时效应量容易被高估。
操作清单：1）实验前算好样本量与最短天数；2）固定分流比例，中途别改；3）每天看一次护栏指标，核心指标第3天后再看趋势；4）停实验用序贯检验或固定 horizon，别看到显著就停；5）记录实验期间的外部事件（大促、版本发布）。
最后一个数字：实验密度别太高。同一用户同时进3个以上实验，交互效应会让结果失真。控制在每人同时不超过2个实验，重叠实验用正交分层分流。
