2024年6月,成都一个本地生活推荐团队做了个小实验:给5000名用户看两个版本的推荐理由,A版写“根据你的偏好”,B版写“本商圈62%的人选择了这家”。同样的店铺、同样的排序,B版点击率高1.8个百分点,下单率高0.9个百分点。原因不复杂:用户对“个性化”的信任度在下降,对“多数人选择”这种可验证的社会证据更买账。
这背后是基础概率问题。推荐系统给每个用户算“喜欢概率”,但用户自己不知道这个概率怎么来的。把概率翻译成“100人里有62人选了”,信息量没变,可理解性变了。团队在3个城市做了对照:成都、武汉、西安各抽1.2万人,B版点击率分别高1.6、2.1、1.4个百分点,方向一致,幅度有差异。武汉幅度最大,因为当地用户对新店决策更依赖他人评价。
但“多数人选择”有个坑:基数太小会误导。某新店只有3个人买过,写“67%的人选择”就是噪声。团队定了规则:样本量低于50不展示百分比,改展示“本周已有37人下单”。上线后,新店的点击率从1.1%升到2.4%,因为没有百分比的店反而显得真实。这条规则写进了数据校验脚本,每天扫描一遍,拦截了约3000次不合规展示。
排序策略也跟着调整:原来按“个性化预测分数”降序,现在按“预测分数×社会证据强度”排序。社会证据强度用贝叶斯平滑计算,公式是(购买人数+20×全局均值)/(曝光人数+20),分母加20是防止小样本极端值。平滑后,新店和老店的分数差距从3.2倍缩到1.4倍,曝光更均衡。灰度两周,整体下单率提升0.7个百分点,新店曝光占比从8%升到15%。
模型评估上,这次改版暴露了一个盲区:离线AUC几乎没变(0.708到0.709),因为社会证据特征不在原始特征集里。团队后来把“展示文案类型”作为特征加进模型,离线AUC涨到0.716,线上提升和离线方向一致。教训是:不是所有线上收益都能在旧评估体系里体现,改版时要同步更新评估特征,否则会误判为无效。
概率的另一个应用是预算分配。团队把每个推荐位的曝光当成一次“试验”,用多臂老虎机分配流量,每个候选策略初始给5%流量,按点击率后验分布更新。第1周探索流量占22%,第4周降到7%,最优策略流量占比从5%升到61%。探索成本折算成少赚的订单约每天40单,换来的是策略收敛速度提升3倍,两周内就能定版。
常见错误提醒:别把“多数人选择”用在私密品类上,例如医疗、成人用品,社会证据会让人尴尬,点击率反而降。团队在2个品类上试过,医疗类点击率降0.6个百分点,立刻回滚。规则要分品类配置,不能一刀切。这套逻辑跑了6个月,整体点击率提升2.3个百分点,退货率没变。