很多模型善于排序,却不善于给概率。分数0.8的样本实际点击率可能只有0.5。概率校准就是把输出分数调整为可信的概率估计。
校准很重要。广告出价、风控阈值、流量分配都依赖概率绝对值。分数不可信,基于分数的决策就会系统性偏差。
常用校准方法有保序回归、 Platt缩放等。用独立校准集拟合校准器,避免在训练集上校准导致过拟合。
评估校准可画校准曲线,或计算期望校准误差。分群看校准效果也必要,整体校准好不代表每个用户群体都准。
很多模型善于排序,却不善于给概率。分数0.8的样本实际点击率可能只有0.5。概率校准就是把输出分数调整为可信的概率估计。
校准很重要。广告出价、风控阈值、流量分配都依赖概率绝对值。分数不可信,基于分数的决策就会系统性偏差。
常用校准方法有保序回归、 Platt缩放等。用独立校准集拟合校准器,避免在训练集上校准导致过拟合。
评估校准可画校准曲线,或计算期望校准误差。分群看校准效果也必要,整体校准好不代表每个用户群体都准。