真实数据几乎不可能干净。缺失值和异常值处理不当,会系统性扭曲模型与统计结论。首先要理解缺失机制:是完全随机缺失、随机缺失还是非随机缺失,不同机制对应不同处理策略。
完全随机缺失可以直接删除或简单填补;随机缺失可借助其他变量建模填补;非随机缺失最棘手,缺失本身携带信息,比如高收入者更不愿填收入。此时应把是否缺失作为特征,而非简单填补。
数值填补常用均值、中位数或模型预测。均值填补会压缩方差,中位数对异常值稳健。更严谨的做法是多重填补,生成多个完整数据集分别分析再合并,以反映填补带来的不确定性。
异常值要先判断是错误还是真实极端值。录入错误应修正或删除,真实极端值如大额交易则应保留,可用稳健统计或分位数截断降低影响。盲目删除异常值可能抹掉最有价值的信号,比如欺诈样本。
处理顺序也重要。先用业务规则修正明显错误,再做缺失填补,最后考虑异常值处理。每一步都记录决策理由,方便复现与审计。数据清洗没有标准答案,只有结合业务的具体判断。