去年双十一前，某电商类目上线新品推荐位，7天里曝光量从日均3万冲到28万，点击率却从4.2%跌到1.6%。复盘发现5个常见错误：1）把新品的初始分直接设成类目均值，导致200个新品抢同一批流量；2）排序公式里销量权重占60%，新品根本没机会；3）没有设置探索配额，老品占据首页90%位置；4）点击日志延迟2小时回传，实时排序用上了过期特征；5）AB实验只开3天就下结论，样本量不足5万。
排序本质是在点击率、转化率、客单价之间做加权。假设点击率CTR=2%、转化率CVR=5%、客单价80元，那么单次曝光的期望GMV=0.02×0.05×80=0.08元。若把CVR提升到8%，期望值翻到0.128元，但若CTR同时掉到1%，期望值只剩0.064元。很多团队只盯CTR优化，结果推荐位变成标题党聚集地，GMV反而下滑12%。
日期为3月12日的一场服装类目测试里，A组纯按CTR排序，B组用CTR×CVR×价格加权。7天结果：A组点击率3.8%、转化率2.1%，B组点击率2.9%、转化率4.6%。按80元客单价折算，A组每万次曝光GMV约638元，B组约1067元。B组点击率低了近1个百分点，GMV却高出67%。指标之间会打架，排序目标要跟业务阶段对齐。
冷启动阶段，探索流量建议给到10%-15%。某内容平台的做法是：新品前48小时固定分2000次曝光，分布在早8点、午12点、晚8点三个时段，每个时段约670次。48小时后若CTR低于类目均值70%，降权；高于均值120%，加权进入下一轮。这套规则让新品7日留存率从31%提到44%，同时老品流量只降了3%。
概率视角下，一次曝光是否点击可看作伯努利试验。若真实CTR=2%，曝光1000次，点击次数的标准差约为√(1000×0.02×0.98)≈4.4。也就是说点击量在20上下波动±9都算正常范围。某团队看到A组点击率2.3%、B组1.9%就宣布A胜出，实际两组各只有800次曝光，置信区间大面积重叠，结论不可靠。样本量少于1万次曝光时，建议先看趋势别急着下结论。
特征工程里最容易出错的是时间穿越。4月上线的一个推荐模型，离线AUC做到0.78，线上效果却不如规则排序。排查发现训练集用了商品7日累计销量，而线上预测时这个值只统计到当天凌晨，信息量少了近30%。修正后离线AUC降到0.74，线上GMV反而涨了9%。离线指标漂亮不等于线上有效，特征的时间口径必须和预测时刻严格对齐。
模型评估要看业务指标而非只看AUC。某资讯推荐场景，AUC从0.72提到0.76，人均阅读时长却下降5%。原因是模型更擅长预测点击，把大量短平快的娱乐内容排到前面，深度阅读内容被挤掉。后来在评估体系里加入阅读完成率、次日回访率两个指标，权重各占20%，排序效果才回到正轨。单一指标优化容易把系统带偏。
