去年双11前两周，某女装店铺的首页推荐位点击率长期停在3.1%。团队把排序模型从“按销量倒序”换成“多目标加权”：点击权重0.5、加购0.3、成交0.2，A/B实验跑了14天，实验组CTR升到4.7%，人均停留从42秒涨到67秒。
做排序前先核对三张表：用户表、商品表、行为表。常见错误是行为表只存了点击没存曝光，导致模型把“没曝光”误判成“不感兴趣”。正确做法是每天凌晨2点用离线任务补一条曝光日志，字段至少包含request_id、item_id、position、timestamp，否则后续算CTR分位置就是空的。
数据统计上有两个坑。第一，分母别用“页面访问数”，要用“推荐位曝光数”，某母婴店把分母搞错后CTR虚高到9.2%，实际只有2.8%。第二，分桶要按用户ID哈希做，保证同一用户始终在同一组；曾有人按时间切分，周一生效周二失效，结果两组人群完全不同，结论直接作废。
概率常识也得盯住。假设真实CTR是3%，每个桶每天只有2000次曝光，那标准误约0.38个百分点，两组差0.5%根本看不出来。经验值是每个实验组每天至少1万次曝光、跑满7天，再配合95%置信区间判断。小店铺流量不够时，宁可做“同一用户前后对比”，也别硬拆两组。
模型评估别只看AUC。排序场景更该看NDCG@10和MRR：把最该推的10个商品排前面，NDCG能反映位置质量。某数码店AUC从0.71升到0.78，但NDCG@10反而降了，原因是模型把高点击低转化的引流款顶到了第一位，GMV没涨。
案例对比很说明问题。A店用“销量+时间衰减”，7天窗口，权重每天乘0.9；B店用逻辑回归，特征12个，含价格区间、历史点击率、类目偏好。同样1万次曝光，A店加购率1.9%，B店2.6%。差距不在模型多复杂，而在B店把“价格区间”做了分桶：0-99元、100-299元、300元以上分别建模。
落地检查清单：①曝光日志齐全；②分桶按用户哈希；③每组每天曝光≥1万；④主指标CTR、护栏指标加购率与退款率同时看；⑤连续观察7天再下结论；⑥上线前用10%流量灰度24小时；⑦保留旧模型做兜底，异常时5分钟内切回。
