离线评测的可信度取决于评测集的质量。很多团队直接拿最近一周的全量日志当测试集，但其中混入了大量曝光未点击的噪声，且分布与线上真实请求不完全一致，结论容易失真。
构建评测集首先要明确任务：评估召回还是排序？召回需要构造「用户-正物品」对并补充负样本，排序则需要保留真实的候选集合和位置信息，否则 NDCG 无从计算。
负样本的选取影响很大。随机负样本过于简单，模型容易虚高；用曝光未点击做负样本更接近真实难度，但要注意曝光位置偏差，可用 IPS 加权或位置特征矫正。
测试集应按时间切分，且与训练集有清晰的隔离期，避免同一用户的行为跨集泄漏。用户级去重比样本级去重更严格，推荐优先采用。
评测集要版本化并定期刷新，同时保留一个小型人工标注集作为锚点，防止自动指标与真实体验脱节。
