真实数据很少干净,缺失、异常、重复是三大常见问题。清洗不是简单删除,而是理解产生机制后做有依据的处理,否则会引入偏差。
缺失值先看比例和模式。少量随机缺失可填充均值、中位数或众数;大量缺失的特征考虑弃用;缺失本身可能有信息,可加缺失指示特征。不要无脑填零。
异常值判断要结合业务。数值超出合理范围、时间戳早于注册时间、消费金额为负,都可能是采集错误。用分位数和业务规则双重筛查,保留真实极端值。
重复项包括完全重复和逻辑重复,比如同一请求多次上报、同一用户多账号。按业务主键去重,并检查去重前后指标变化,避免误删有效样本。
清洗流程要可复现、有日志,记录每步处理量和规则。上线后数据源变化会让旧规则失效,需定期回看清洗效果,别让清洗脚本成为黑盒。