交叉验证通过把数据分成K折、轮流做验证集,能更充分地利用有限数据评估模型稳定性。K通常取5或10,折数越多偏差越小但计算成本越高,数据极少时可用留一法。
交叉验证的前提是数据独立同分布。若样本存在时间顺序,随机切分会导致未来信息泄漏到训练集,必须使用时间序列交叉验证,按时间滚动切分,保证验证集始终在训练集之后。
分组数据也要特殊处理:同一用户的多条行为、同一商品的多次曝光彼此相关,随机切分会高估模型。应按用户或物品分组做GroupKFold,确保同一实体不跨训练集和验证集。
类别不均衡时要用分层交叉验证,保持每折的正负比例与整体一致,否则某折可能正样本极少,指标波动剧烈,误导模型选择。
常见误用还包括:用交叉验证结果反复调参后再报告该结果,造成乐观偏差;以及在预处理阶段对全量数据做标准化再切分,导致信息泄漏。正确做法是把预处理放入每折的训练流程内部。