2024年3月到6月，我在杭州一家年GMV约2亿元的母婴电商做推荐排序改造。改造前首页推荐使用人工规则，点击率约4.1%，转化率1.2%。项目组5人，预算控制在每月服务器成本8000元以内。第一步做的是把“点击”拆成曝光、点击、加购、支付四层漏斗，用Hive每天凌晨2点跑T+1统计，发现曝光到点击流失最严重的是第3屏之后，点击率从5.8%跌到2.3%。
数据常识里最容易踩的坑是“把曝光当流量”。我们统计了连续14天的日志，发现同一用户平均每天看到推荐位37次，其中重复商品占41%。于是加了去重规则：同一SKU在24小时内最多曝光2次，第3次强制换品。上线两周后，人均曝光降到29次，点击率反而升到4.9%。常见错误是只看CTR不看人均曝光，导致系统不断推爆款，用户很快疲劳。
排序模型选型上，我们没有一上来就上深度模型，而是先用LightGBM做基线。特征分三类：用户侧（近30天购买频次、客单价区间80-300元）、商品侧（近7天转化率、库存深度）、交叉侧（用户对品类的偏好分）。训练集取2024年1-3月共1200万条曝光样本，正样本定义为“曝光后24小时内支付”。AUC从0.62提升到0.71，线上CTR提升约11%。
概率常识在这里很关键。推荐系统输出的是“点击概率”，但业务要的是“支付概率”。两者相差一个条件概率：P(支付)=P(点击)×P(支付|点击)。我们统计发现母婴品类P(支付|点击)约0.18，而玩具品类只有0.09。如果直接用点击概率排序，玩具会被高估。改成用支付概率排序后，整体GMV提升6.3%，但CTR略降1.1%，这是典型的多目标权衡。
模型评估不能只看离线AUC。我们做了三组对比：离线AUC 0.71、线上CTR +11%、人均GMV +6.3%。中间出现过一次离线涨、线上跌的情况，原因是训练集用了未来信息——把“支付后7天内的复购”当成了特征。修正后离线AUC降到0.69，线上却恢复了。评估清单建议固定5项：离线AUC、线上CTR、转化率、人均GMV、多样性指标（品类熵）。
统计口径统一花了整整两周。订单表有“下单时间”和“支付时间”两个字段，推荐日志用的是“曝光时间”。最初统计转化率时，分子用支付时间、分母用曝光时间，导致跨天订单被算错，转化率虚高约8%。后来统一为“曝光后24小时窗口内支付”，并在SQL里加窗口函数。常见错误是分子分母时间口径不一致，尤其是跨零点订单。
多样性用品类熵衡量：把推荐结果按一级品类统计占比，计算熵值，熵越高越分散。改造前熵值1.42，改造后1.78，用户7日回访率从21%升到26%。但熵值不是越高越好，我们试过强制打散到2.1，结果CTR跌了7%。经验区间是1.6-1.9，具体看品类数量。
三个月复盘：CTR从4.1%到4.9%，转化率1.2%到1.4%，人均GMV提升6.3%，服务器成本每月增加约3000元。最大的教训是前两个月过度关注模型，忽略了日志埋点缺失——有12%的曝光没有记录位置信息，导致无法分析屏效。建议先花两周把埋点补齐，再谈排序优化。
