统计显著不等于业务显著：效应量思维

样本量足够大时，几乎任何微小差异都会统计显著。这时候 p 值很小，但实际提升可能只有千分之一，对业务毫无感知。

所以要看效应量，也就是差异的绝对大小和相对比例。把提升幅度和改造成本放在一起权衡，才是合理的决策方式。

置信区间比单一 p 值信息更丰富，它能告诉你效果的可能范围。区间很宽说明不确定性大，需要更多数据。

做数据决策时，先问这个差异有多大，再问它是否可靠。两个问题都回答了，结论才站得住脚。