A/B 测试跑出显著差异，团队容易急着全量。但统计显著只说明差异不太可能由随机波动造成，不代表差异有业务价值，也不代表对所有人都成立。
首先要看效应量。实验组转化率提升零点一个百分点，样本足够大时也可能显著，但收益可能覆盖不了开发和维护成本。显著性回答有没有差别，效应量回答差别值不值得。
其次要看实验设计。分流是否随机、样本是否独立、指标是否提前确定，都会影响结论可信度。事后挑一个好看的指标解读，是常见的自欺做法。
还要关注异质效应。整体提升可能来自某个用户群，其他群体反而下降。分群分析能发现这种结构，避免全量后伤害部分用户。
最后做长期评估。短期指标上涨可能透支未来，比如促销拉高转化却损害复购。显著只是起点，上线决策要综合效应、成本、风险和长期影响。
