站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

数据清洗:缺失值与异常值处理

真实数据往往不完整,缺失值处理方式直接影响模型效果。简单删除会损失样本,填充均值会低估方差,需要根据缺失机制选择策略。

若缺失与目标相关,例如高收入用户更不愿填写收入,则缺失本身携带信息。此时可将是否缺失作为额外特征,而不是简单填充。

异常值要区分错误与真实极端值。录入错误应修正或剔除,真实的长尾行为则应保留,否则会削弱模型对少数群体的刻画能力。

处理策略应记录在数据管道中并可复现。线上线下使用同一套清洗逻辑,是避免特征不一致的基本要求,也是数据质量治理的起点。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 推荐排序里90%人踩过的5个特征陷阱与修正步骤 下一篇 特征工程实战:数值特征的分桶与归一化