p 值不是原假设为真的概率，也不是实验成功的概率。它表示在原假设成立的前提下，观察到当前或更极端结果的概率，这个定义常被误读。
p 值小于 0.05 只说明在给定显著性水平下拒绝原假设，并不代表效应量大或业务价值高。样本量足够大时，微小差异也能显著。
置信区间比 p 值提供更多信息，它给出了效应量的估计范围。区间是否包含零对应显著性判断，区间的宽度反映估计精度，业务上更有参考价值。
多重比较会放大假阳性风险。同时检验多个指标或多个分组时，需要做 Bonferroni 校正或使用 FDR 控制，否则显著结果可能只是偶然。
实践建议是提前注册分析计划，报告效应量和置信区间，结合业务成本判断是否上线，而不是机械地盯着 0.05 这条线。
