报告指标时只给一个点估计,比如转化率提升 2%,信息是不完整的。置信区间给出估计的不确定范围,让决策者知道这个数字有多可靠。
置信区间的宽度取决于样本量和数据波动。样本小、方差大时区间很宽,点估计可能毫无参考价值。看到提升 2% 但区间是负 1% 到正 5%,就不能宣称改动有效。
95% 置信区间的含义是:重复抽样多次,约 95% 的区间会覆盖真实值。它不是真实值有 95% 概率落在当前区间内。理解这一区别,能避免过度解读。
AB 实验中,两组指标的差值也应给置信区间。区间不跨零通常对应显著,但更重要的是区间下界是否有业务意义。下界接近零说明收益可能很小,不值得投入。
做数据统计报告时,点估计加置信区间应成为标准格式。它迫使分析者考虑不确定性,也让决策者更清楚风险,比单一数字更利于理性判断。