站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

数据清洗实战:缺失值、异常值与重复项

真实数据很少干净,缺失、异常、重复是三大常见问题。清洗不是简单删除,而是理解产生机制后做有依据的处理,否则会引入偏差。

缺失值先看比例和模式。少量随机缺失可填充均值、中位数或众数;大量缺失的特征考虑弃用;缺失本身可能有信息,可加缺失指示特征。不要无脑填零。

异常值判断要结合业务。数值超出合理范围、时间戳早于注册时间、消费金额为负,都可能是采集错误。用分位数和业务规则双重筛查,保留真实极端值。

重复项包括完全重复和逻辑重复,比如同一请求多次上报、同一用户多账号。按业务主键去重,并检查去重前后指标变化,避免误删有效样本。

清洗流程要可复现、有日志,记录每步处理量和规则。上线后数据源变化会让旧规则失效,需定期回看清洗效果,别让清洗脚本成为黑盒。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 假设检验:P值到底意味着什么 下一篇 抽样调查:样本量多少才够用