模型输出的概率不一定可信。梯度提升树等模型常出现预测概率偏高或偏低的情况,排序能力好不代表概率数值准确。
校准衡量预测概率与实际发生频率是否一致。若模型对所有样本预测 0.8,实际正例比例应接近八成,否则概率就缺乏直接解释力。
常见校准方法包括 Platt 缩放和保序回归。前者拟合一个逻辑回归做映射,后者用单调函数调整,适合样本量较大的场景。
校准要在独立验证集上拟合,不能再用训练数据,否则会过拟合。校准后还要用可靠性图和 Brier 分数检验效果。
当业务需要用概率做决策,比如定价、风控阈值或预算分配时,校准比单纯追求 AUC 更重要。