损失函数定义了模型优化的方向。回归任务常用均方误差,对异常值敏感;平均绝对误差更稳健,但梯度不够平滑。选择要结合数据分布和业务容忍度。
分类任务常用交叉熵,梯度性质好,训练稳定。类别不平衡时可以加权重或改用 Focal Loss,让模型更关注难样本。损失设计直接影响模型的行为倾向。
排序任务有 pairwise 和 listwise 损失。pairwise 关注两两相对顺序,listwise 直接优化整个列表的排序质量。NDCG 类指标对应的损失更贴近最终评估。
损失函数要和评估指标尽量对齐。训练优化交叉熵、评估看 AUC 是常见组合,但两者不完全一致。理解这种差距,才能解释离线与线上的表现差异。