不同特征的量纲差异会让模型训练变得困难。归一化把特征缩放到固定区间,如 0 到 1;标准化把特征变成均值 0、方差 1 的分布。两者目的都是让各特征在同一尺度上参与计算。
对梯度下降类模型,特征尺度差异大会导致损失曲面狭长,收敛慢甚至震荡,标准化后收敛更快更稳。对基于距离的模型如 KNN 和聚类,尺度直接决定距离计算,不缩放会让大数值特征主导结果。
树模型对单调变换不敏感,理论上不需要缩放,但在特征含极端异常值时,分箱或截断仍有帮助。神经网络和线性模型则几乎总要做标准化,这是提升训练稳定性的低成本手段。
关键细节是统计量只能来自训练集。用全量数据计算均值和方差会把验证集信息泄漏进训练,评估结果偏乐观。正确做法是在训练集上拟合缩放器,再应用到验证集和线上。