特征穿越指训练时用了预测时拿不到的信息。比如用未来几天的销量预测当天需求,离线指标会异常漂亮,上线后却一塌糊涂。
常见来源包括时间处理错误、统计窗口包含未来、标签泄漏。用户是否流失的标签若由后续行为定义,特征里又混入后续行为,就会泄漏。
排查方法是模拟线上时点,逐条检查特征可得性。按时间切分数据做验证,比随机切分更容易暴露穿越问题。
团队要建立特征规范,明确每个特征的产出时间和依赖。上线前的特征审计,能避免很多返工和事故。
特征穿越指训练时用了预测时拿不到的信息。比如用未来几天的销量预测当天需求,离线指标会异常漂亮,上线后却一塌糊涂。
常见来源包括时间处理错误、统计窗口包含未来、标签泄漏。用户是否流失的标签若由后续行为定义,特征里又混入后续行为,就会泄漏。
排查方法是模拟线上时点,逐条检查特征可得性。按时间切分数据做验证,比随机切分更容易暴露穿越问题。
团队要建立特征规范,明确每个特征的产出时间和依赖。上线前的特征审计,能避免很多返工和事故。