大数定律说的是样本量足够大时,频率会趋近真实概率。但现实中很多决策发生在样本很少的时候,这时波动会非常剧烈。
一个新广告点击率百分之二十,可能只是曝光了五次点了一次。样本太小,置信区间宽得惊人,直接下结论风险很高。
可以用置信区间或贝叶斯方法量化不确定性,避免被极端值带偏。AB 实验也需要足够样本量才能检测出真实差异。
看到漂亮的小样本数据先别激动,问一句样本量多大。数据量不足时,保守决策往往比激进决策更稳妥。
大数定律说的是样本量足够大时,频率会趋近真实概率。但现实中很多决策发生在样本很少的时候,这时波动会非常剧烈。
一个新广告点击率百分之二十,可能只是曝光了五次点了一次。样本太小,置信区间宽得惊人,直接下结论风险很高。
可以用置信区间或贝叶斯方法量化不确定性,避免被极端值带偏。AB 实验也需要足够样本量才能检测出真实差异。
看到漂亮的小样本数据先别激动,问一句样本量多大。数据量不足时,保守决策往往比激进决策更稳妥。