模型效果不好,很多时候问题出在数据。缺失值、重复记录、异常值、格式不一致,都会干扰训练。清洗不是可选项,而是必要步骤。
缺失值要区分原因。随机缺失可以填补,系统性缺失可能本身携带信息。盲目填零或填均值,可能扭曲分布,掩盖真实规律。
异常值不一定要删。要判断是录入错误还是真实极端情况。若是真实的长尾行为,删掉会让模型对少数用户失明。
清洗要有记录。每一步处理都要可追溯,方便复现和排查。数据管道里加校验规则,能让问题在进入模型前就被发现。
模型效果不好,很多时候问题出在数据。缺失值、重复记录、异常值、格式不一致,都会干扰训练。清洗不是可选项,而是必要步骤。
缺失值要区分原因。随机缺失可以填补,系统性缺失可能本身携带信息。盲目填零或填均值,可能扭曲分布,掩盖真实规律。
异常值不一定要删。要判断是录入错误还是真实极端情况。若是真实的长尾行为,删掉会让模型对少数用户失明。
清洗要有记录。每一步处理都要可追溯,方便复现和排查。数据管道里加校验规则,能让问题在进入模型前就被发现。