销量预测、流量预估等时间序列任务，最常见的评估错误是随机划分训练集和测试集。随机划分让模型用未来数据预测过去，评估结果虚高，上线后表现落差大。
正确做法是按时间切分：用较早时间段训练，较晚时间段验证和测试。滚动验证更进一步，每次用截至某时刻的数据训练，预测下一段，逐步前移，模拟真实部署场景。
时间序列还存在趋势和季节性。评估时要确认模型在多个周期上的表现，不能只看某一段。节假日和突发事件要单独分析，避免被平均指标掩盖。
特征构造也要遵守时间约束。滞后特征、滑动统计的窗口必须截止到预测时点之前。用未来信息构造的特征在离线评估中很有效，上线时却不可得。
评估指标方面，除 MAE、RMSE 外要看分位数误差和方向准确率。业务关心的是极端情况和高估低估的代价，单一看平均误差可能掩盖关键问题。
