站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

数据泄露:模型评估中最隐蔽的坑

数据泄露指训练时用到了预测时拿不到的信息,导致离线评估虚高、上线效果骤降。它是模型评估中最隐蔽也最致命的坑,很多团队踩过之后才建立防线。

常见泄露包括:用未来数据做特征统计、目标编码时把标签信息带入、时间序列随机划分导致未来样本进入训练集、去重不彻底让同一样本同时出现在训练和测试集。

防范的核心是按时间切分和严格隔离。时序场景必须用过去训练、未来测试,特征统计窗口以样本时间为界。用户维度的划分要保证同一用户不跨集合,避免记忆效应。

特征平台要提供时间旅行能力,按指定时间点回溯特征值。离线训练和线上服务使用同一套特征逻辑,减少线上线下不一致带来的隐性泄露。

评估流程要加自动检查:特征与标签的相关性异常高、离线远好于线上、测试集指标过于完美,都是泄露信号。建立基线模型对比,能快速发现异常提升。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 推荐系统入门:从用户行为到排序逻辑 下一篇 工作日怎么算(日常计算场景)