很多团队在看到 p 值小于 0.05 时就宣布实验成功，但显著性只说明观察到的差异不太可能由随机波动造成，并不说明差异有多大，更不说明值得上线。理解这一点是数据驱动决策的基本功。
置信区间比单一 p 值信息更丰富，它给出效应量的可能范围。若点击率提升的 95% 置信区间是百分之零点一到百分之零点三，说明提升幅度可能很小，需结合业务成本判断是否划算。
样本量过大会让微小差异也变得显著，样本量过小则可能漏掉真实效果。实验前做功效分析，明确最小可检测效应，能避免“显著但无意义”或“不显著就放弃”的两类误判。
多重比较会抬高假阳性率，当同时检验十几个指标或分群时，至少有一个偶然显著的概率大幅上升。应预先指定主指标，或使用 Bonferroni 等校正方法控制整体错误率。
最终决策应把统计结果、效应量、业务成本与风险偏好放在一起权衡，让数据成为证据而非唯一裁判。
