运营常看到某个版本转化率高出几个百分点就急着全量上线，但如果样本量小，这种差异很可能来自随机波动。转化本质上是伯努利试验，波动幅度取决于样本量。
粗略判断可以用置信区间。样本几百、转化率百分之几时，区间可能宽达正负一两个百分点，所谓提升完全落在噪声范围内。样本越大，区间越窄，结论才越可信。
还要警惕多重比较。同时测十个指标，总有一两个看起来显著，这是概率必然，不是发现。提前定好主指标，避免事后挑数据。
最后看实际收益。统计显著不等于业务重要，提升零点一个百分点可能不值得增加维护成本。先问样本够不够，再问差异大不大。
