站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

归一化与标准化:特征缩放的正确姿势

不同特征的量纲差异会让模型训练变得困难。归一化把特征缩放到固定区间,如 0 到 1;标准化把特征变成均值 0、方差 1 的分布。两者目的都是让各特征在同一尺度上参与计算。

对梯度下降类模型,特征尺度差异大会导致损失曲面狭长,收敛慢甚至震荡,标准化后收敛更快更稳。对基于距离的模型如 KNN 和聚类,尺度直接决定距离计算,不缩放会让大数值特征主导结果。

树模型对单调变换不敏感,理论上不需要缩放,但在特征含极端异常值时,分箱或截断仍有帮助。神经网络和线性模型则几乎总要做标准化,这是提升训练稳定性的低成本手段。

关键细节是统计量只能来自训练集。用全量数据计算均值和方差会把验证集信息泄漏进训练,评估结果偏乐观。正确做法是在训练集上拟合缩放器,再应用到验证集和线上。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 探索与利用:推荐系统为什么不能只推用户喜欢的 下一篇 冷启动问题:新用户与新物品的推荐策略