做实验时，很多人看到结果统计显著就认为可以上线。但显著只说明差异不太可能由随机波动造成，并不代表差异足够大、值得投入。
样本量很大时，微小的差异也会显著。比如转化率从百分之十点零提升到百分之十点一，统计上可能显著，但对业务几乎没有实际影响，上线成本却可能很高。
反过来，样本量很小时，真实有效的改进可能达不到显著，被误判为无效。所以要看置信区间，而不只看是否显著，区间能告诉你效果的可能范围。
最终判断要结合业务成本。提升幅度、实现代价、维护成本、对用户体验的影响都要算进去。统计显著是门槛，业务意义才是决策依据，两者不能混为一谈。
