模型评估不能只看单一指标，而要建立分层体系。底层是模型质量指标，中层是系统效果指标，顶层是业务价值指标，三层相互印证才能得出可靠结论。
模型质量指标包括 AUC、LogLoss、校准误差等，反映模型对数据的拟合和泛化能力。这些指标计算快、成本低，适合日常迭代和快速对比，但与业务收益没有直接对应关系。
系统效果指标关注排序质量，如 NDCG、MAP、TopK 准确率、覆盖率、多样性。它们更贴近实际使用方式，能反映模型在真实请求下的表现，但仍然是离线估算。
业务价值指标是最终答案，包括点击率、转化率、人均使用时长、收入等。这些只能通过线上实验获得，成本高但结论可靠。离线指标与线上指标的相关性需要长期积累数据来验证。
搭建评估体系时，要明确每个指标的用途和局限。离线指标用于筛选，线上指标用于决策，二者不能混用。同时要建立指标监控，防止模型迭代中某些指标悄悄劣化。
