某推荐团队2023年8月遇到一个投诉：用户反馈「我只点过一次猫粮，首页推了两周猫相关」。查日志发现，该用户在7天内对猫粮商品点击5次、曝光8次。模型据此判定「强偏好」。但从概率上看，5次点击在8次曝光里意味着点击率62.5%，用贝叶斯平滑（先验取全站均值3%）处理后，后验均值约为(5+0.03×20)/(8+20)=0.20。真实偏好被高估了3倍多。
这就是小样本概率估计的经典问题。5次点击看起来「证据充分」，实际上置信区间极宽。用Beta分布估算，5/8的后验95%区间大约是[0.30, 0.91]。也就是说，这个用户的真实点击率可能低到30%。推荐系统如果按点估计排序，就会把偶然当成必然。
对比一下不同样本量下的估计稳定性。曝光8次点击5次，点估计62.5%，区间宽61个百分点；曝光80次点击50次，点估计62.5%，区间宽约21个百分点；曝光800次点击500次，区间宽约7个百分点。同样是62.5%，可信度天差地别。行业里常见的做法是设一个最小曝光阈值，比如20次以下不做个性化加权，直接用类目均值兜底。
再看一个相关概念：基础概率忽视。某招聘App 2022年做过一次弹窗实验，弹窗点击率4.8%，看起来很低，但站内同类弹窗平均只有1.2%。运营觉得「效果不错」，全量推了。全量后整体点击率掉到0.9%——原因是实验期只推给了高活跃用户，而全量触达了大量沉默用户。实验组的4.8%不是策略效果，是用户筛选的效果。
另一个容易踩的坑：把条件概率当因果。数据显示「看过测评视频的用户购买率高3倍」，于是加大视频推荐。但真实机制可能是「本来就想买的人才会去看测评」。2023年某数码平台用倾向得分匹配做了对照，控制「加购」这个前置行为后，视频带来的增量购买率只有0.7倍，远低于3倍。
给3个日常能用的判断方法。方法1：看到「某某用户点击率高」，先问曝光次数，低于20次的一律打折看。方法2：看到「实验组提升X%」，先问实验期是否覆盖完整周、样本是否随机。方法3：看到「相关性很强的两个指标」，画一张因果图，标出可能的共同原因，至少列3个。
最后一个数字练习。某活动页转化率从2%升到3%，绝对提升1个百分点、相对提升50%。如果你只看相对值，会觉得效果惊人；看绝对值，每1000个访客多10单，按客单价89元、毛利率30%算，每1000访客多赚约267元。做决策时两个数字都要摆出来，否则很容易被「提升50%」这种表述带走。概率常识不复杂，难的是每次看到数字都愿意多问一句「分母是多少」。
