假设检验有一套固定流程。第一步提出原假设和备择假设,通常原假设是“没有差异”或“没有效果”。第二步选择显著性水平,常用零点零五,代表可接受的假阳性率。
第三步选择检验方法,比如比较两组均值用 t 检验,比较比例用卡方检验。方法选择取决于数据类型、样本量和分布假设,选错方法结论就不可靠。
第四步计算检验统计量和 P 值,判断是否落入拒绝域。第五步结合业务背景解释结论,说明差异方向和大小,而不只是说显著或不显著。
整个过程要事先确定,不能看到数据后再改假设或换方法,否则 P 值的含义就被破坏了。预先注册分析方案,是减少此类问题的重要手段。