不同特征量纲差异大时,距离类和梯度类模型会受大数值特征主导。归一化和标准化是常见处理手段,但二者含义不同,用错场景会影响效果和可解释性。
归一化通常指把特征缩放到零到一区间,适合取值范围有明确边界的特征,比如比例、评分。它对异常值敏感,一个极端值会把其余数据压得很窄。
标准化是减均值除标准差,得到均值零方差一的分布。它适合近似正态的特征,对异常值相对稳健,是线性模型、神经网络、 SVM 的常用预处理。
树模型对单调变换不敏感,归一化与否影响不大,但对异常值和分桶边界仍敏感。类别特征不要做数值标准化,应使用编码方式处理。
关键是在训练集上计算统计量并应用到验证和测试集,不能各自计算,否则造成信息泄露。线上服务要用训练时保存的参数,保证一致性。