把 7 月 1 日到 7 月 30 日的 12 万条曝光日志拉出来，按用户 ID 去重后只剩 3.1 万人。先别急着算点击率，先查一件事：同一用户在同一天被重复曝光同一商品的次数占比达到 18%，这部分重复曝光会把 CTR 抬高约 2.3 个百分点。处理步骤：1）按“用户+商品+天”去重；2）剔除曝光不足 3 次的商品；3）再计算分组指标。
排序模型上线前后各取 14 天做对比，A 组是旧规则、B 组是新模型，两组各约 6 万次曝光。看到 B 组 CTR 从 4.1% 升到 5.0% 时先别高兴，检查分母：B 组把“猜你喜欢”模块从第 3 屏提到第 1 屏，曝光位置变化本身就能带来 0.6 到 0.9 个百分点的提升。
案例：某母婴类目 8 月在杭州做灰度，新模型把客单价 99 到 129 元的商品排前，结果 CTR 涨 12%，但支付转化率跌 4%。原因很具体——排序把高点击低转化的引流款顶上去，用户点完发现规格不全就走了。办法是把“点击后 10 秒内跳出率”作为负向特征加进排序分。
指标陷阱清单：1）只用 CTR 不看 CVR；2）忽略曝光位置偏差；3）把退款订单算进 GMV；4）用全量数据调参再全量评估；5）把周末流量和工作日混在一起算均值。每条都能让结论偏 3% 到 15%。
做显著性检验时，样本量 6 万、基线转化 4%，想检测 0.3 个百分点的提升，按常用公式需要每组约 8 万样本，当前数据不够。此时正确做法是延长实验到 21 天，或改用方差更小的分层指标，而不是直接宣布胜利。
数据统计里有个容易忽略的点：曝光日志的时间戳是服务器时间，而用户行为日志是客户端时间，两者在 23:50 到 00:10 之间有约 40 秒错位。跨天统计时会导致 0.2% 的曝光被算到第二天，量小但足以让日环比曲线出现毛刺。
概率视角下，排序打分本质是给每个商品一个“被点击的可能性”估计值。若模型输出的分数集中在 0.02 到 0.08 之间，直接用分数排序没问题，但要换算成概率做预算分配，就需要做校准，比如用 5000 条留出集画可靠性曲线，偏差超过 10% 就重训。
最后一步是模型评估的离线在线一致性。离线 AUC 从 0.71 提到 0.74，线上 CTR 只涨 0.2 个百分点，很常见。检查特征穿越：把“近 1 小时销量”这种实时特征放进离线训练，离线会虚高，线上拿不到同样新鲜度的数据，落差就出来了。
