算法上线后常被问为什么。可解释性帮助业务方理解模型逻辑，也帮助排查问题。黑箱模型效果再好，缺乏解释也会在落地时遇到阻力。
特征重要性是最基础的解释工具。全局重要性看整体依赖，局部解释看单个样本的贡献。SHAP 值兼顾两者，能给出每个特征对预测的推动方向。
可解释性和效果常有权衡，但不绝对。线性模型和树模型本身可解释，深度模型可以借助事后解释方法。选型时把解释需求纳入考量，能减少后期返工。
解释也要服务于决策。给运营看特征贡献，给用户看推荐理由，给风控看拒贷依据，对象不同，解释的粒度和形式也不同。别用一套解释应付所有场景。
