特征缩放是模型训练的常规步骤,但顺序错了会引入数据泄漏。正确做法是在训练集上计算均值和方差,再用同一组参数变换验证集和测试集,而不是先对全量数据做归一化。
归一化把特征缩放到固定区间,标准化把特征变成零均值单位方差。两者都能改善梯度下降收敛、避免量纲大的特征主导模型。树模型对缩放不敏感,线性模型和神经网络则很依赖。
在划分前做缩放,验证集的分布信息会渗入训练过程。虽然影响通常小于目标泄漏,但在小数据集上足以让评估偏乐观。严格遵守先划分后变换的流程更稳妥。
类别特征和缺失值填充同理。填充值应在训练集上统计,再应用到其他集合。特征选择也应在训练集内完成,避免用验证集表现挑特征。
工程上建议把预处理封装进管道,训练时拟合、预测时变换,从流程上杜绝泄漏。这比依赖人工记忆更可靠,也便于线上部署保持一致。