AB实验的核心是随机分流，将用户随机分为对照组和实验组，从而在统计上隔离策略带来的差异。随机化保证两组在人口属性、活跃度等维度上大致可比。
实验前需要明确核心指标和护栏指标。核心指标衡量策略收益，护栏指标防止副作用，例如延迟、投诉率或留存下降，二者缺一不可。
样本量和实验时长要提前计算，避免因样本不足导致结论不可靠。实验中途不要频繁查看结果并提前停止，这会显著抬高假阳性概率。
实验结束后，除了看均值差异，还要关注置信区间和显著性。若结果不显著，应结合业务判断是样本不足还是效应本身微弱，谨慎决定是否全量。
