3月到5月，一个本地生活APP从零搭排序评估体系。起点很朴素：只有点击率和GMV两个数，模型换一版，谁也说不清好坏。三个月后形成4类指标：相关性（NDCG@10）、商业性（人均GMV）、多样性（类目熵）、稳定性（指标日环比波动）。四类指标各占权重，避免单一指标被刷。
相关性评估用人工标注加自动指标双轨。人工标注每周抽500条query-物品对，按0到3分四档打分，两人独立标注，不一致的由第三人裁决，最终一致性Kappa约0.72。自动指标用NDCG@10，与人工标注的相关系数0.68，够用但不完美。常见错误是只信自动指标，标注集一年不更新，结果模型在旧标注上分数虚高。
商业性指标要防作弊。某次排序版本把高客单价商家往前排，人均GMV涨了6%，但退款率从2.1%升到3.4%，30天复购率掉了1.2个百分点。后来加了一个约束：单次实验退款率上升超过0.5个百分点即判负。商业指标不是越高越好，要配一个风险护栏。
多样性用类目熵衡量。基线熵值2.1，某版本降到1.7，人均停留时长同时从110秒掉到95秒。数据说明头部集中会伤体验。修正办法是加多样性重排，前20个结果里同一类目最多出现4次。上线后熵回到2.0，GMV只降了0.3%，可以接受。
稳定性指标容易被忽略。统计过去30天核心指标的日环比标准差，作为波动基线。某次模型上线后，CTR日环比波动从±0.15个百分点扩大到±0.4个百分点，虽然均值没变，但说明模型对流量分布变化更敏感，后来回滚重训。均值相同不代表模型一样，方差也是信息。
概率校准是排序里的暗坑。模型输出0.8分的物品，实际点击率可能只有0.5。用可靠性图检查：把预测分十等分，看每档实际点击率与预测均值是否贴合。某版本在0.6到0.8分段系统性高估0.1，原因是训练样本里这部分曝光被过度采样。做保序回归校准后，AUC不变，但下游出价逻辑的收益提升了约2%。
评估体系要能回答“换不换”的问题。设定规则：四类指标中至少三类不劣于基线，且相关性指标提升不低于1%，才允许全量。三个月里跑了17次实验，通过的只有4次，通过率24%。低通过率不是坏事，说明标准在起作用。
