真实数据往往不完整,缺失值处理方式直接影响模型效果。简单删除会损失样本,填充均值会低估方差,需要根据缺失机制选择策略。
若缺失与目标相关,例如高收入用户更不愿填写收入,则缺失本身携带信息。此时可将是否缺失作为额外特征,而不是简单填充。
异常值要区分错误与真实极端值。录入错误应修正或剔除,真实的长尾行为则应保留,否则会削弱模型对少数群体的刻画能力。
处理策略应记录在数据管道中并可复现。线上线下使用同一套清洗逻辑,是避免特征不一致的基本要求,也是数据质量治理的起点。
真实数据往往不完整,缺失值处理方式直接影响模型效果。简单删除会损失样本,填充均值会低估方差,需要根据缺失机制选择策略。
若缺失与目标相关,例如高收入用户更不愿填写收入,则缺失本身携带信息。此时可将是否缺失作为额外特征,而不是简单填充。
异常值要区分错误与真实极端值。录入错误应修正或剔除,真实的长尾行为则应保留,否则会削弱模型对少数群体的刻画能力。
处理策略应记录在数据管道中并可复现。线上线下使用同一套清洗逻辑,是避免特征不一致的基本要求,也是数据质量治理的起点。