离线评估是模型上线前的必经环节，但指标选错会让团队产生虚假安全感。AUC 是最常用的排序指标，衡量正负样本的排序能力，却对绝对概率不敏感，也无法反映业务关心的阈值附近表现。
举个例子，AUC 从 0.80 提升到 0.81 看似进步，但如果业务只关心点击率最高的前 5% 位置，就需要看 Precision@K、Recall@K 或 NDCG 这类TopK指标，它们更贴近实际展示场景。
当正负样本极度不均衡时，准确率会严重失真，此时应看召回率、F1 或 PR 曲线。若业务关注校准程度，比如预估点击率要用于竞价排序，则必须看 LogLoss 和校准曲线，而不只是排序能力。
单一指标永远有盲区，实践中要构建指标组合：排序看 AUC 和 NDCG，分类看 PR，校准看 LogLoss，业务看转化率和收入。同时要按用户分层、物品分层分别评估。
最重要的是离线指标与线上指标的相关性验证。如果历史多次出现离线涨、线上跌，就要反思评估集是否与线上分布一致，是否存在数据泄漏。
