交叉验证是评估模型泛化能力的常用方法,把数据分成多折,轮流做验证集,平均多次结果。它比单次划分更稳定,但用错场景会带来严重偏差。
最常见错误是数据泄露。若在划分前做全局归一化或特征选择,验证折的信息已渗入训练,评估结果虚高。正确做法是把预处理放进每折训练流程内部。
时间序列数据不能用随机交叉验证。未来信息不能用于预测过去,应按时间切分,用前段训练后段验证,或采用滚动窗口验证,模拟真实上线节奏。
分组数据要注意组间隔离。同一用户的多条行为若分到训练与验证两侧,模型会因记住用户而虚高。应按用户分组划分,保证组不交叉。
交叉验证结果应报告均值与方差。方差大说明模型对数据划分敏感,稳定性差。结合独立测试集做最终确认,才能避免调参调出乐观偏差。