很多模型输出一个零到一之间的分数，人们习惯把它理解为概率，比如分数零点八就以为有百分之八十的把握。但未经校准的模型，这个分数往往只是排序依据，并不对应真实发生概率。
模型可能整体高估或低估。比如训练数据正负样本比例经过调整，模型输出的分数就会系统性偏移。此时排序仍然有效，但直接当概率用会出错。
概率校准就是修正这种偏差，常用方法包括分箱校准和拟合校准曲线。校准后，分数接近真实频率，才能用于需要绝对概率的场景，比如预估风险、计算期望收益。
判断是否需要校准，可以画可靠性曲线：把预测分数分箱，比较每箱的平均预测值和实际正例比例。如果偏离对角线明显，就说明需要校准。排序场景可以不管，决策场景必须管。
