做数据统计时,我们看到的指标都是样本估计值,天然带有随机波动。小样本场景下这种波动尤其明显:100次曝光得到5%点击率,与10000次曝光得到5%点击率,可信程度完全不同。
置信区间给出参数真值可能落入的范围,常用95%置信水平。对比例指标,可用正态近似公式或Wilson区间计算。样本量很小时正态近似不可靠,Wilson区间或自助法更稳健。
解读时要避免常见误区:置信区间描述的是估计方法在重复抽样下的覆盖率,不是“真值有95%概率落在区间内”。频率学派框架下真值固定,区间随机,措辞需谨慎。
在AB实验中,置信区间比p值更有信息量。它同时告诉你效应方向、大小和不确定性。若区间跨越0,说明效应不显著;若区间很宽,说明样本不足,不宜仓促下结论。
业务决策中建议同时报告点估计、置信区间和样本量。只报“提升3%”而不报不确定性,容易让读者误以为结果精确,导致在噪声上做过度反应。