梯度提升树通过串行训练多棵决策树,每棵树拟合前一棵树的残差,逐步降低预测误差。相比线性模型,它能自动捕捉特征之间的非线性关系和交互作用,在表格类特征上表现稳定。
在排序场景中,常用 lambdarank 等排序损失直接优化列表顺序,而不是单独优化每个物品的点击概率。这类方法关注物品之间的相对顺序,更贴合推荐列表的实际目标。
梯度提升树的训练需要处理类别特征和缺失值。树模型对特征尺度不敏感,但类别特征需要编码,高基数类别容易过拟合。常用手段包括目标编码、频次编码和特征哈希。
它的推理延迟比深度模型低,适合对响应时间敏感的场景。工业界常把梯度提升树用于粗排或精排的初期版本,再逐步引入深度模型做融合,形成多模型并存的排序体系。