分类模型输出的分数常被直接当作概率使用,但很多模型并未经过校准。例如集成模型倾向于输出极端值,导致预测概率与实际频率不符。
校准的目标是让预测为百分之三十的样本中,实际正例比例接近百分之三十。可靠性曲线是直观的诊断工具,曲线越接近对角线校准越好。
常用校准方法有保序回归和 Platt 缩放,前者非参数灵活但需要较多数据,后者假设S形映射,参数少更稳健,适合小样本场景。
注意校准要在独立验证集上拟合,避免用训练集导致过拟合。校准后模型排序能力不变,但概率含义变得可信,可用于预算和出价决策。
分类模型输出的分数常被直接当作概率使用,但很多模型并未经过校准。例如集成模型倾向于输出极端值,导致预测概率与实际频率不符。
校准的目标是让预测为百分之三十的样本中,实际正例比例接近百分之三十。可靠性曲线是直观的诊断工具,曲线越接近对角线校准越好。
常用校准方法有保序回归和 Platt 缩放,前者非参数灵活但需要较多数据,后者假设S形映射,参数少更稳健,适合小样本场景。
注意校准要在独立验证集上拟合,避免用训练集导致过拟合。校准后模型排序能力不变,但概率含义变得可信,可用于预算和出价决策。