很多模型追求排序能力,却忽略预测概率是否准确。若模型说“百分之七十会点击”,实际点击率应接近七成才算校准良好。排序场景不一定需要校准,但出价、预算、风控等决策依赖真实概率。
校准与区分度是两回事。AUC 高说明排序好,但概率可能整体偏高或偏低。逻辑回归通常校准较好,树模型和深度模型容易过自信或欠自信,需要后处理。
常用校准方法有 Platt 缩放和保序回归。前者拟合一个逻辑函数,适合样本量中等、偏差单调的情况;后者非参数、更灵活,但需要足够数据,否则容易过拟合。
校准必须在独立数据集上拟合,不能用在训练集上,否则会高估校准效果。评估用可靠性图和 Brier 分数,分桶比较预测均值与实际频率,能直观看出偏差方向。
上线后数据分布变化会导致校准失效,需要定期重训校准器并监控。广告出价场景中,校准误差直接影响成本和收益,应作为核心指标持续跟踪。