统计显著说明差异不太可能由随机波动造成，业务显著说明差异值得投入资源。两者不是一回事，大样本下微小差异也能统计显著，但业务上可能毫无意义。
判断业务显著要看收益成本比。提升 0.1% 的点击率，如果改造成本高昂，未必值得上线。设定最小可感知效应，是实验设计的重要一步。
统计显著受样本量影响大。实验周期太短，真实差异可能测不出；周期太长，又浪费资源。平衡统计功效和实验成本，需要提前规划。
报告结论时要把两者都说清楚。只讲统计显著容易误导决策者，只讲业务感受又缺乏证据。数据与业务判断结合，结论才站得住脚。
