去年双十一前两周，某女装店铺的推荐位点击率从4.2%降到2.8%，运营第一反应是“模型坏了”。排查发现，是商品上架时间集中在上午10点，而曝光日志把预售商品和现货商品混在一张表里统计，分母被放大了近1.7倍。指标本身没错，是数据口径先出了问题。
推荐排序常看的7类数据：曝光量、点击率、加购率、收藏率、下单转化率、客单价、退货率。每一项都要带时间窗，比如“近7天”和“近30天”的结果可能差出15个百分点。某母婴类目在2023年3月的测试中，近1天点击率0.9%、近30天点击率2.4%，原因是大促尾程流量结构突变。只看单窗口，结论会反着走。
排序模型不是越复杂越好。一个三人团队用逻辑回归加20个特征，在日活8万的场景里做到AUC 0.78；换成深度模型后AUC升到0.81，但推理延迟从12毫秒涨到95毫秒，首页加载超时率上升3.1%。最终他们把深度模型只用在第二页以后的推荐，首页仍走轻量模型。这是一个典型的成本与收益对照。
概率常识在这里很关键。点击率2%意味着100次曝光约2次点击，但单日曝光只有300次时，波动范围可能从0次到8次。某零食品牌在2023年6月做过一次A/B测试，实验组点击率2.1%、对照组1.8%，看起来提升16.7%，但每组样本量仅500次曝光，置信区间大幅重叠。按统计要求，每组至少需要约1.2万次曝光才能稳定判断。
模型评估有三个常见错误。第一，用训练集上的准确率汇报效果，某团队报出92%，线上一测跌到61%。第二，忽略正负样本比例，点击率0.8%的场景下，全预测“不点击”也有99.2%准确率，这个数字毫无意义。第三，只看平均值不看分层，某3C店铺整体转化率提升0.3个百分点，拆开看是新客提升1.2%、老客下降0.4%，老客流失被平均数掩盖了。
统计口径要写进文档。曝光去重按“用户+商品+自然日”，点击去重按“用户+商品+小时”，加购按“用户+商品+SKU”。2022年某家居平台因为点击未去重，同一用户连续点击5次被算作5次点击，点击率虚高约40%，排序模型把这些商品推得更猛，形成反馈回路，两周后首页同质化严重，用户次日留存下降2.6个百分点。
评估排序效果，离线看AUC和NDCG，线上看点击率、转化率和人均停留时长，三者要一起看。某生鲜平台2023年9月的实验显示，NDCG@10提升0.04，但人均停留时长下降11秒，原因是推荐过于集中在低价爆品，用户滑两屏就到底了。后来加入多样性约束，停留时长回升，转化率只降了0.1个百分点。
一个可落地的检查清单：每天核对曝光日志与埋点日志的行数差异，阈值设为0.5%；每周做一次分层评估，按新老客、价格带、品类各切3到5层；每次上线前跑一次样本量计算，确保每组曝光不少于1万次；模型版本回滚预案提前写好，回滚时间控制在10分钟内。这四条做到，多数排序问题能在半天内定位。
