AB 实验报告里常见 p 值小于 0.05 就宣称显著。但 p 值常被误读，它表示在原假设成立时观察到当前或更极端结果的概率，不是原假设为真的概率，也不是效应为真的概率。
p 值小只说明数据与原假设不一致，不说明差异有多大或多有业务价值。样本量很大时，微小差异也能显著。所以要看置信区间和效应大小，不能只看是否显著。
多重比较会推高假阳性。同时检验几十个指标，总有几个偶然显著。要控制错误发现率，或用主指标加护栏指标的框架，减少无谓检验。
显著性检验有前提假设，比如独立性、分布形态。AB 实验中同一用户多次行为不独立，比值类指标方差估计要特别处理。直接用简单检验可能低估方差、高估显著性。
实践中应把显著性当作参考而非裁决。结合效应大小、置信区间、分层结果和长期影响综合判断，才能避免被一个 p 值牵着走。
