站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

数据泄露:离线指标虚高的隐形杀手

离线评估指标漂亮,上线却大幅下跌,数据泄露常是元凶。模型在训练时意外获得了预测时不可知的信息,学到了作弊捷径,真实场景自然失效。

典型泄露包括时间穿越与特征穿越。用未来统计量构造历史样本特征,或用全量数据做归一化,都会让训练集包含验证集信息,指标虚高。

用户行为序列也易泄露。若特征里包含样本时刻之后的行为,模型等于提前知道答案。构造样本时必须严格按时间切分,特征只取预测时刻之前的数据。

标签泄露更隐蔽。某些特征由标签派生,如人工审核标记、事后归因结果,训练时可用,预测时不可得。这类特征必须剔除,否则模型无法上线。

排查泄露要做特征审计与时间线检查。构造一个只含合法特征的基线,对比指标差异。若加入某特征后指标暴涨,需警惕其是否携带未来信息。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 模型上线前的检查清单 下一篇 时差怎么算(示例30)