特征穿越是CTR预估模型离线效果虚高的常见元凶。典型场景是特征计算窗口包含了标签发生之后的信息,比如用用户点击后的行为统计去预测该次点击,模型在训练时“偷看”了答案,离线指标自然漂亮。
排查思路是先梳理每条特征的生成时间与标签时间的关系。统计类特征必须严格使用标签时间点之前的数据窗口,实时特征要确认服务端写入延迟,避免把未来几秒的事件带入当前请求。
另一个高频泄漏点是样本拼接。曝光日志与点击日志关联时,若关联逻辑不当,可能把同一用户后续的行为误拼到早期曝光上。建议在拼接环节加入时间戳校验,并抽样人工核对若干条样本的完整链路。
验证手段包括时间切分验证和特征消融实验。按时间切分训练测试集能暴露大部分穿越问题;对可疑特征做消融,若去掉后离线指标大幅下降而线上无变化,基本可判定存在泄漏。