A/B 实验是验证算法改动的黄金标准。把用户随机分成对照组和实验组，只改变一个变量，比较核心指标差异。随机化是因果推断的前提，不能省略。
实验前要算样本量。效果差异越小，需要的样本越多。提前设定显著性水平和统计功效，避免实验做到一半发现样本不够，进退两难。
指标选择要聚焦。核心指标一个，辅助指标若干，避免指标太多导致多重比较问题。实验周期要覆盖完整的行为周期，至少一周，减少星期效应干扰。
实验结果要区分统计显著和业务显著。微小提升在大样本下也可能显著，但是否值得上线要看投入产出。实验结论要结合长期影响综合判断。
