数据集划分是模型评估的地基。训练集用于拟合参数,验证集用于调参和选模型,测试集只在最后用一次。三者混用会导致评估结果虚高,失去参考价值。
时间序列数据不能随机划分。用未来数据训练、过去数据测试,会造成信息泄露。按时间切分,让训练集在前、测试集在后,才符合真实预测场景。
验证集被反复使用也会过拟合。调参次数多了,模型会间接记住验证集。这时需要独立的测试集把关,或者用交叉验证减少单次划分的偶然性。
数据泄露是常见陷阱。特征里混入标签相关信息,或预处理时用了全量数据统计量,都会让离线指标虚高。划分和预处理顺序要严格把关。