某服饰电商在2024年3月的A/B测试里，把首页推荐的排序目标从单纯点击率改成"点击率×加购率×客单价"的加权分。改之前点击率3.1%、转化率1.2%；改之后点击率降到2.6%，转化率升到1.8%，GMV涨了14%。这说明排序目标选错，越优化越偏。
排序模型常见的三层结构：召回层从百万级商品里粗筛出500到2000个候选；粗排层用轻量模型压到100到300个；精排层用深度模型打分排序。每层都有时间预算，召回通常要求20毫秒内完成，精排单次请求控制在80毫秒左右，超时就直接降级到规则排序。
特征分四类要记牢：用户侧（近7天点击类目分布、近30天客单价区间）、商品侧（价格带、销量、退货率）、上下文（时段、设备、来源页面）、交叉特征（用户对该类目的历史CTR）。常见错误是把未来信息漏进特征，比如用"商品最终成交总额"做特征，离线AUC能到0.85，上线后效果直接腰斩。
一个真实案例：某美妆平台2023年11月大促前，精排模型离线AUC 0.79，上线后推荐位转化率反而比规则排序低0.3个百分点。排查发现训练样本用了曝光未点击作为负样本，但曝光位置本身有强偏置——首位曝光点击率是第10位的4倍。改成用位置修正或随机曝光样本后，线上效果才转正。
评估排序不能只看一个指标。离线看AUC、GAUC（按用户分组算AUC再平均）、NDCG@10；线上看CTR、CVR、人均GMV、多样性指标。经验值：GAUC比AUC低0.03到0.08属于正常，如果GAUC和AUC差距超过0.1，说明用户间差异被模型忽略了。
冷启动商品别硬塞进精排。做法是：新品先走探索流量池，每天给500到2000次曝光，收集够200次点击后再进正常排序。某家居平台用这个策略，新品7日动销率从31%提到47%，代价是老品曝光减少约6%。
最后提醒一个统计陷阱：A/B测试跑3天就下结论很危险。若基线转化率1.5%，想检测0.15个百分点的提升，按80%功效、5%显著性算，每组需要约8万到10万样本。日活不够就延长到2周，或者改用方差缩减方法，别用"前两天数据好看"来拍板。
