不同特征的量纲差异会给模型训练带来麻烦,例如年龄在几十的量级,而收入可能在万级。若不处理,梯度下降容易被大量级特征主导。
归一化将特征缩放到相近范围,常见方法有最小最大缩放和标准化。前者把值映射到零到一,后者转为均值为零、方差为一的分布。
对树模型而言,归一化影响较小,因为分裂点只依赖相对顺序。但对线性模型和神经网络,归一化能显著加快收敛并提升稳定性。
实践中还要注意训练集与线上服务的一致性,归一化参数必须用训练集统计量并固定下来,避免数据穿越和线上线下不一致。
不同特征的量纲差异会给模型训练带来麻烦,例如年龄在几十的量级,而收入可能在万级。若不处理,梯度下降容易被大量级特征主导。
归一化将特征缩放到相近范围,常见方法有最小最大缩放和标准化。前者把值映射到零到一,后者转为均值为零、方差为一的分布。
对树模型而言,归一化影响较小,因为分裂点只依赖相对顺序。但对线性模型和神经网络,归一化能显著加快收敛并提升稳定性。
实践中还要注意训练集与线上服务的一致性,归一化参数必须用训练集统计量并固定下来,避免数据穿越和线上线下不一致。