机器学习模型的效果不仅取决于算法,更取决于训练和评估所用样本能否代表真实场景。样本偏差会让模型在实验室里表现优异,在真实世界却一塌糊涂。
选择偏差是最常见的一种。比如只用已购买用户的数据训练推荐模型,但线上要服务所有用户,未购买用户的行为模式完全不同,模型在他们身上可能失效。
幸存者偏差同样典型。分析用户流失原因时只看留下来的用户,忽略了已经离开的,结论自然偏颇。做产品决策时,沉默的大多数往往携带最关键的信息。
曝光偏差在推荐场景尤为突出。用户只能对曝光过的物品产生反馈,未曝光的物品没有数据,模型据此学习会强化已有曝光策略,让冷门内容永远得不到机会,形成马太效应。
应对样本偏差需要对数据采集机制保持清醒。评估时尽量模拟线上分布,必要时用倾向得分加权或反事实评估方法校正,避免被有偏样本带偏方向。