站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

数据常识:缺失值与异常值的正确处理方式

真实数据几乎不可能干净。缺失值和异常值处理不当,会系统性扭曲模型与统计结论。首先要理解缺失机制:是完全随机缺失、随机缺失还是非随机缺失,不同机制对应不同处理策略。

完全随机缺失可以直接删除或简单填补;随机缺失可借助其他变量建模填补;非随机缺失最棘手,缺失本身携带信息,比如高收入者更不愿填收入。此时应把是否缺失作为特征,而非简单填补。

数值填补常用均值、中位数或模型预测。均值填补会压缩方差,中位数对异常值稳健。更严谨的做法是多重填补,生成多个完整数据集分别分析再合并,以反映填补带来的不确定性。

异常值要先判断是错误还是真实极端值。录入错误应修正或删除,真实极端值如大额交易则应保留,可用稳健统计或分位数截断降低影响。盲目删除异常值可能抹掉最有价值的信号,比如欺诈样本。

处理顺序也重要。先用业务规则修正明显错误,再做缺失填补,最后考虑异常值处理。每一步都记录决策理由,方便复现与审计。数据清洗没有标准答案,只有结合业务的具体判断。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 离线评估与线上 AB 实验的差距 下一篇 混淆矩阵:四个格子看懂分类