脏数据是算法效果的隐形杀手。缺失值、异常值、重复记录、格式不一致,都会污染模型。清洗工作不显眼,却决定了模型效果的上限。
缺失值要区分类型。随机缺失可以用均值或模型填补,系统性缺失可能本身就是信号。缺失率过高的字段考虑直接剔除,别为了完整性强行填补。
异常值要结合业务判断。设备故障导致的极端值该删,真实的长尾行为该留。用分位数或业务规则识别异常,比简单用三倍标准差更稳妥。
重复数据会造成样本权重失衡。同一用户多次上报的同一次行为,要去重后再入模。清洗流程要固化成管道,保证训练和线上特征处理逻辑一致。