做模型评估,数据要分成三份:训练集、验证集、测试集。训练集用来学参数,验证集用来调超参数,测试集用来做最终评估。
常见比例是6:2:2或8:1:1,具体看数据量。数据少时比例要更谨慎,保证每份都有代表性。
关键是测试集不能参与任何训练和调参。一旦你根据测试集结果反复调整模型,测试集就被污染了,评估结果不再可信。
划分时还要注意分布一致。随机划分能保证同分布,但遇到时间序列数据,要按时间切分,避免用未来信息预测过去。
做模型评估,数据要分成三份:训练集、验证集、测试集。训练集用来学参数,验证集用来调超参数,测试集用来做最终评估。
常见比例是6:2:2或8:1:1,具体看数据量。数据少时比例要更谨慎,保证每份都有代表性。
关键是测试集不能参与任何训练和调参。一旦你根据测试集结果反复调整模型,测试集就被污染了,评估结果不再可信。
划分时还要注意分布一致。随机划分能保证同分布,但遇到时间序列数据,要按时间切分,避免用未来信息预测过去。