P值表示在原假设成立的前提下,观察到当前或更极端结果的概率。它不是原假设为真的概率,也不是效应大小的度量,常被误读。
P值小于显著性水平只说明数据与原假设不太相容,并不证明备择假设成立。大样本下微小差异也可能显著,需结合效应量解读。
多重比较会抬高假阳性率,同时检验多个指标时应做校正,例如 Bonferroni 或 FDR 控制。AB实验平台通常内置这类校正。
报告结果时建议给出效应量和置信区间,而非只给P值。完整的信息能让决策者判断结果是否具有实际业务意义。
P值表示在原假设成立的前提下,观察到当前或更极端结果的概率。它不是原假设为真的概率,也不是效应大小的度量,常被误读。
P值小于显著性水平只说明数据与原假设不太相容,并不证明备择假设成立。大样本下微小差异也可能显著,需结合效应量解读。
多重比较会抬高假阳性率,同时检验多个指标时应做校正,例如 Bonferroni 或 FDR 控制。AB实验平台通常内置这类校正。
报告结果时建议给出效应量和置信区间,而非只给P值。完整的信息能让决策者判断结果是否具有实际业务意义。