6月1日至7日，某服饰电商APP首页推荐位日均曝光1200万次，点击率3.8%，加购率0.9%。复盘时发现三个口径版本并存：按曝光去重、按UV去重、按会话去重，同一位置的点击率能差出0.6个百分点。先统一口径再谈模型优劣，是排序迭代前必须做的一步。
排序模型上线前，先用两周历史日志做离线评估。样本取5月18日至31日，共840万条曝光记录，按时间切分：前12天训练、后2天验证。评估指标不只盯AUC，同时看NDCG@10和GAUC。实际测下来，AUC从0.72提升到0.75，但GAUC只涨了0.004，说明增益集中在少数高频用户身上，对长尾用户几乎无感。
概率这件事在推荐里常被误读。点击率0.9%不是“1000次曝光必有9次点击”，它只是模型给出的期望。某次A/B实验中，实验组CTR比对照组高0.12个百分点，p值0.03，看着显著；但把实验拆成7天看，只有2天方向一致，其余5天波动方向相反。样本量按每天约60万曝光算，单日置信区间宽度约±0.08个百分点，所以这个差异并不稳。
一个具体案例：某女装类目在推荐池里占比只有4%，但贡献了11%的成交。运营第一反应是加权提权，把占比调到8%。上线3天后发现整体点击率掉了0.2个百分点，人均停留时长从92秒降到84秒。原因是该类目高转化靠的是精准人群，粗暴扩量后曝光给了不匹配用户，概率被稀释。后来改为按人群分层提权，只对历史购买过同类目的20万用户加权，CTR回正到3.9%。
数据统计里最常见的错误是辛普森悖论。把用户按新老拆分：新用户实验组CTR 4.2%、对照组4.5%；老用户实验组3.1%、对照组2.9%。合并后实验组3.6%、对照组3.5%，看似实验组赢，实际是新老用户占比结构变化导致的。做分层统计、固定用户结构再对比，这一步不能省。
排序特征工程上有几个容易踩的点。时间特征要用请求时刻而非日志落库时刻，两者在高峰时段能差3到8秒；价格区间做分桶时，0到99元、100到299元、300元以上三档比等频分桶更稳；用户历史行为窗口取7天还是30天，要看品类复购周期，服饰类30天窗口的覆盖用户比7天多41%，但噪声也明显上升。
模型评估别只看离线。上线前做10%流量的小流量实验，观察3天，重点看三个数：曝光覆盖率（新内容占比不低于15%）、多样性（类目熵不低于基线95%）、以及延迟（P99响应时间控制在80毫秒以内）。任何一项越界就回滚，比事后解释省事得多。
