排序模型输出的分数常被直接当作点击概率使用,但很多模型(如树模型、未校准的深度模型)输出的分数只是相对排序值,并不具备概率含义。直接拿去做出价、预算分配会出问题。
概率校准的目标是让预测概率与真实频率一致。常用方法有 Platt 缩放和保序回归,前者假设 sigmoid 关系,后者非参数但需要足够样本,容易过拟合。
校准要在独立验证集上做,不能用训练集拟合校准器,否则会引入乐观偏差。校准后再用可靠性图和 Brier 分数评估,观察不同分数段的预测与实际的偏差。
业务上校准的价值在于可解释和可组合。广告出价、期望收益计算、多目标融合都依赖概率的线性可加性,未校准的分数直接相加没有意义。
注意校准具有分布依赖性。线上流量分布变化后,校准器需要定期更新,否则会出现系统性高估或低估。把校准纳入模型迭代流程,而不是一次性动作。