推荐系统上线前最容易被跳过的是数据检查。2023年某电商大促前，团队发现首页推荐点击率掉了12%，排查6小时才发现是埋点字段从goods_id改成了item_id，召回侧还在读旧字段，导致80%的候选集为空。上线前用一条SQL对比新旧字段的非空率，耗时不到10分钟，能省下一整晚的应急。
检查一：样本时间窗。训练集用近30天数据、验证集用近7天数据是常见配置，但如果近7天里包含一次促销（比如满199减30），分布会明显偏移。做法是把验证集再切成促销日与非促销日两组，分别看AUC，差距超过0.05就要考虑加时间特征或重采样。
检查二：特征覆盖率。随机抽1000个用户，统计每个特征的非空率。经验阈值：核心特征（用户历史点击、商品类目）非空率应高于95%，辅助特征高于70%。低于阈值先别急着上线，回查上游表的分区是否延迟——离线表常因调度晚1至2小时导致当天分区缺失。
检查三：冷启动兜底。新用户占比在拉新活动期间可达30%以上。准备三档兜底：热门榜（按近24小时CTR排序）、类目多样性填充、随机探索10%。用历史新用户流量回放，确认兜底策略下CTR不低于热门榜基线的90%。
检查四：位置偏差。线上日志里排第1位的点击率往往是第5位的3至5倍，直接拿日志训练会把位置信息学进去。做法是训练时把位置作为特征并在预估时置为固定值，或用逆倾向加权，权重截断在0.1到10之间，避免方差爆炸。
检查五：指标口径。点击率的分母是曝光还是请求？两个口径能差出20%。常见错误是离线用曝光口径、线上看请求口径，结论对不上。上线前把口径写进文档，离线评估与在线看板用同一套定义，并在灰度阶段用1%流量核对两边数值差异是否在5%以内。
还有一个易忽略点：特征穿越。某次排序模型离线AUC 0.82，上线后效果平平，最后查到用了订单完成时间这类未来信息。检查方法是把特征按时间戳排序，确认每个样本只用到该时刻之前的数据，抽样200条人工核对即可发现大部分问题。
