去年双十一前两周，某电商推荐团队在杭州做了一次复盘：把首页商品卡从按销量排序改成按预估点击率排序，结果人均点击从2.3次降到1.7次。问题不在模型本身，而在特征时间窗设成了7天，大促前用户兴趣变化快，7天前的点击记录已经失真。
常见错误清单，按出现频率排：1）用全量数据算均值，把新用户和老用户混在一起；2）训练集和测试集按随机切分，导致同一用户出现在两边，线下AUC虚高到0.82，线上只有0.61；3）点击率定义为点击除以曝光，但曝光埋点在列表渲染时就上报，没等卡片真正进入视口；4）负样本采样比例1:4后忘记做概率校准，排序相对顺序对，绝对分值不能直接做阈值；5）特征里混入了未来信息，比如用下单时间反推点击偏好。
对比一下两种排序目标：按点击率排，短期指标涨8%但客单价跌12%；按成交金额排，客单价稳但点击率掉5%。一个折中做法是用点击率做粗排，召回500个候选，再用预估GMV做精排取前20个，线上实验两周，人均成交提升4.6%，点击率只降1.1%。
举个具体案例。某内容社区在2023年3月发现推荐列表前3位全是同一位作者的视频。排查发现去重逻辑只对相邻位置生效，且作者ID特征在排序模型里权重过大。修复步骤：1）在全列表范围做作者维度打散，同一作者最多出现2条；2）把作者ID从特征里移除，改为作者近期平均完播率；3）加一条业务规则，前10位至少覆盖6位不同作者。上线后用户次日留存从31%升到34%。
数据统计上有两个容易忽略的数字。一是曝光去重：同一用户同一天看到同一商品超过3次，第4次开始点击率通常衰减60%以上，统计点击率时必须按用户去重或加曝光频次特征。二是位置偏差：第1位点击率约为第10位的3到5倍，训练时要用位置作为特征，或者对样本按位置加权，否则模型学到的其实是“用户爱点靠前的东西”。
概率视角看排序，模型输出的是“该用户点击该商品的概率”，不是分数。两个商品预估0.30和0.29，实际差异可能完全在噪声内。经验做法是：线上只比较分差超过0.03的对，线下评估用校准曲线看预测概率和实际频率是否贴合，分10个桶，每桶至少500个样本，偏差超过5个百分点就要重新校准。
模型评估别只看AUC。某团队线下AUC 0.79，上线后人均点击没变化。换成GAUC（按用户分组算AUC再加权平均）后只有0.58，说明模型对用户之间的偏好区分度差，只是学会了“活跃用户点得多”。同时看NDCG@10和MRR，前者衡量整体排序质量，后者看第一个正样本排多前。三个指标一起看，才能判断是特征问题还是目标定义问题。
