从数据到决策：统计显著与业务显著

统计显著回答的是差异是否可能由偶然造成，业务显著回答的是差异是否值得投入。两者不是一回事，决策时都要考虑。

样本量很大时，微小差异也可能统计显著。比如点击率提升0.01%，统计上可信，但收益可能抵不过开发和维护成本。

样本量小时，真实的大幅提升也可能不显著。此时不宜草率否定，可延长实验或做功效分析，判断需要多少样本才能检出预期效果。

好的决策习惯是：先定业务上关心的最小提升幅度，再设计实验样本量。这样统计结论和业务判断才能对齐。