点估计给出一个数,置信区间给出一个范围。只报告点估计,读者无法判断结果的可靠性。两个都提升百分之五的指标,一个区间很窄,一个区间很宽,决策价值完全不同。
置信区间的含义常被误解。百分之九十五置信区间不是“真实值有百分之九十五概率落在此区间”,而是在重复抽样下,约百分之九十五的区间会覆盖真实值。它描述的是方法的可靠性,而非单次结果。
样本量越大,区间越窄,估计越精确。这也解释了为什么小样本实验容易得出忽高忽低的结论。在设计实验时计算所需样本量,本质上就是在控制区间宽度,确保能检测到有业务意义的效应。
评估模型指标时同样应给出区间。AUC 的点估计可能因测试集划分而波动,用自助法估计区间能反映这种不确定性。若两个模型的区间大幅重叠,宣称其中一个更优就缺乏依据。
汇报数据时养成带区间的习惯,能显著提升沟通质量。它迫使你正视不确定性,也让决策者理解风险。数据不是确定性的证明,而是带误差的估计,承认这一点是专业性的体现。