离线评估很好,上线后指标却下滑,这是推荐系统的高频问题。原因通常出在数据、特征或工程链路。
特征穿越是最常见的一种,离线用了未来信息,线上拿不到。其次是训练和服务的特征口径不一致,同一特征算法不同。
还有分布漂移,线上用户行为和训练期差异大。以及延迟问题,实时特征来不及计算,只能用旧值替代。
排查时先比对线上线下特征值,再做小流量灰度。逐层定位比整体回滚更容易找到根因。
离线评估很好,上线后指标却下滑,这是推荐系统的高频问题。原因通常出在数据、特征或工程链路。
特征穿越是最常见的一种,离线用了未来信息,线上拿不到。其次是训练和服务的特征口径不一致,同一特征算法不同。
还有分布漂移,线上用户行为和训练期差异大。以及延迟问题,实时特征来不及计算,只能用旧值替代。
排查时先比对线上线下特征值,再做小流量灰度。逐层定位比整体回滚更容易找到根因。