p值是假设检验中的核心概念,定义为在原假设成立的前提下,观察到当前或更极端数据的概率。它衡量数据与原假设的兼容程度,而不是原假设为真的概率。
最常见的误读是把p小于0.05等同于“效应真实存在”或“原假设为假的概率小于5%”。p值小只说明数据在原假设下不太可能出现,可能是真效应,也可能是样本偏差、多重比较或模型设定错误。
p值也不衡量效应大小。样本量极大时,微不足道的差异也能显著;样本量很小时,重要效应也可能不显著。因此报告结果时应同时给出效应量和置信区间,而非只看p值。
多重比较会显著抬高假阳性率。同时检验20个指标,即使全部无效应,预期也有约1个p值小于0.05。解决方法是预先指定主指标,或使用Bonferroni、Benjamini-Hochberg等校正方法。
科学决策不应以p值阈值为唯一标准。结合实验设计、效应大小、业务成本和可重复性综合判断,才能避免把统计显著性误当成实际重要性。