数据统计中最常见的错误是把点估计当成真值。点击率 3% 只是一个估计，换一批样本可能变成 2.8% 或 3.3%。忽略不确定性，就容易把随机波动当成策略效果。
置信区间给出了估计的可靠范围。比例型指标可用正态近似或 Wilson 区间，后者在小样本和极端比例下更稳健。样本很小时，Bootstrap 重采样是通用且直观的替代方案。
比较两组指标时，要看差值的置信区间是否包含 0，而不是只比大小。两个点击率相差 0.1%，若置信区间大幅重叠，就不能断言谁更好，需要更多样本。
方差来源也要拆解：用户间方差通常远大于样本内方差，忽略用户聚类会低估标准误，导致假阳性。聚类稳健标准误或按用户聚合是必要的修正。
把不确定性传递给下游同样重要。排序时可用置信下界替代点估计，天然偏向数据充足的物品，是探索利用的一种实用实现。
