特征穿越指训练时使用了预测时刻拿不到的信息,让模型提前偷看答案。离线指标会异常漂亮,线上却原形毕露。
典型例子包括用后一天的行为统计做当天特征,或把标签相关字段误当特征。时间窗口处理不当最容易出问题。
排查方法是对比特征的时间戳和样本时间戳,确保特征严格早于预测时刻。构造特征时要模拟线上时序。
上线前做一次特征可用性审计很有必要。宁可离线指标低一点,也要保证线上线下一致。
特征穿越指训练时使用了预测时刻拿不到的信息,让模型提前偷看答案。离线指标会异常漂亮,线上却原形毕露。
典型例子包括用后一天的行为统计做当天特征,或把标签相关字段误当特征。时间窗口处理不当最容易出问题。
排查方法是对比特征的时间戳和样本时间戳,确保特征严格早于预测时刻。构造特征时要模拟线上时序。
上线前做一次特征可用性审计很有必要。宁可离线指标低一点,也要保证线上线下一致。