报告模型指标时只给一个点估计是不够的，样本波动会让数字本身带有不确定性。置信区间给出估计的范围，帮助判断差异是真实还是随机噪声。
指标的方差与样本量有关，样本越小波动越大。AUC、点击率等指标都可用自助法或解析公式估计标准误，进而构造置信区间。两组比较时看区间是否重叠只是粗略判断。
显著性检验回答“观察到的差异是否可能由随机造成”。常用 t 检验、卡方检验，比例类指标可用两比例检验。p 值小于阈值只说明差异不太可能纯属偶然，不代表差异有业务意义。
多重比较是常见陷阱：同时看很多指标，总有一个显著。需要做 Bonferroni 等校正，或预先指定主指标，其余作为探索性分析并谨慎解读。
实践建议：报告点估计加置信区间，说明样本量和检验方法，区分统计显著与业务显著。效应量小的显著结果，未必值得投入资源上线。
