实验报告里常见的置信区间,表达的是参数估计的不确定范围。95%置信区间意味着如果重复抽样多次,约95%的区间会包含真实值,而不是真实值有95%概率落在该区间。
显著性检验回答的是:观察到的差异能否用随机波动解释。p值小于0.05通常被认为是显著,但它不代表效应大,也不代表业务上重要。
多重比较会抬高假阳性率。同时检验十几个指标时,总有几个碰巧显著。此时应做 Bonferroni 校正或使用更稳健的方法控制整体错误率。
样本量不足时,不显著不等于无差异,可能只是检验力不够。报告结论时应同时给出效应量与置信区间,而不是只抛出一个是否显著的判断。