机器学习项目的切分策略直接决定评估是否可信。最基础的是按比例随机切分，适合样本独立同分布且无时间因素的场景，但在推荐和风控中往往不适用。
推荐系统更常用按时间切分：用过去的数据训练，用之后的数据评估，模拟真实的上线场景。这样能暴露模型对时间漂移的敏感度，评估更贴近实际。
当样本存在分组结构时，比如同一用户多条行为，应按用户切分，保证同一用户不出现在训练和测试两侧，避免模型靠记忆用户作弊。
验证集用于调参和早停，测试集只在最终评估时用一次。反复用测试集调参会让评估失去客观性，本质上是另一种过拟合。
数据量足够时可以再切出独立的校准集或回测集。建议把切分脚本固化到训练流水线里，保证每次实验的切分口径一致，结果才可比较。
