数据泄露指训练时用到了预测时拿不到的信息,导致离线评估虚高、上线效果骤降。它是模型评估中最隐蔽也最致命的坑,很多团队踩过之后才建立防线。
常见泄露包括:用未来数据做特征统计、目标编码时把标签信息带入、时间序列随机划分导致未来样本进入训练集、去重不彻底让同一样本同时出现在训练和测试集。
防范的核心是按时间切分和严格隔离。时序场景必须用过去训练、未来测试,特征统计窗口以样本时间为界。用户维度的划分要保证同一用户不跨集合,避免记忆效应。
特征平台要提供时间旅行能力,按指定时间点回溯特征值。离线训练和线上服务使用同一套特征逻辑,减少线上线下不一致带来的隐性泄露。
评估流程要加自动检查:特征与标签的相关性异常高、离线远好于线上、测试集指标过于完美,都是泄露信号。建立基线模型对比,能快速发现异常提升。