离线评估指标漂亮,上线却大幅下跌,数据泄露常是元凶。模型在训练时意外获得了预测时不可知的信息,学到了作弊捷径,真实场景自然失效。
典型泄露包括时间穿越与特征穿越。用未来统计量构造历史样本特征,或用全量数据做归一化,都会让训练集包含验证集信息,指标虚高。
用户行为序列也易泄露。若特征里包含样本时刻之后的行为,模型等于提前知道答案。构造样本时必须严格按时间切分,特征只取预测时刻之前的数据。
标签泄露更隐蔽。某些特征由标签派生,如人工审核标记、事后归因结果,训练时可用,预测时不可得。这类特征必须剔除,否则模型无法上线。
排查泄露要做特征审计与时间线检查。构造一个只含合法特征的基线,对比指标差异。若加入某特征后指标暴涨,需警惕其是否携带未来信息。