报告数据时只给一个数字,比如转化率百分之三,读者无法判断这个估计有多可靠。置信区间能表达不确定性,让结论更诚实。
置信区间的含义是:如果重复抽样很多次,约百分之九十五的区间会包含真实值。它不是真实值落在当前区间内的概率,这个区别常被说错。
样本量越小,区间越宽。同样百分之三的转化率,一百个样本和十万个样本给出的置信区间宽度差很多,决策价值完全不同。
比较两组数据时,看区间是否重叠比只看点估计更稳妥。重叠明显时差异很可能来自随机波动,不宜急着下结论。
在报表里同时给出点估计和置信区间,能帮业务方理解风险,避免把统计噪声当成确定趋势。