P 值常被误读为“原假设为真的概率”,这是错的。它实际表示:在原假设成立的前提下,观察到当前或更极端结果的概率。它衡量的是数据与原假设的相容程度。
P 值小,说明结果在原假设下不太可能出现,于是我们倾向拒绝原假设。但小 P 值不等于效应大,样本量很大时,微小差异也可能得到很小的 P 值。
常见误读还有:把不显著当成没有差异,把显著当成有实际价值。统计显著和业务重要是两回事,前者关乎证据强度,后者关乎差异大小和代价。
正确用法是结合效应量、置信区间和实验设计一起看。单看一个 P 值就下结论,容易在多次比较中产生假阳性,所以多重检验校正也常被需要。