一个新内容社区上线第1个月，日活约3000，每天新增帖子约400条。推荐位只有1个，每次展示1条，日曝光约5000次。这个量级下，任何「点击率提升」的结论都不可靠：5000次曝光、真实点击率2%，标准差约0.2个百分点，日与日之间波动很正常。前两周别调模型，先把埋点做对。
埋点常见错误有4个：1）曝光在页面渲染时上报，用户没看到也算，虚高约15%；2）点击去重窗口设成1小时，同一用户反复点算多次；3）把「点赞」算成「点击」，指标混在一起；4）时区没统一，跨天数据错位。修正后，真实点击率从3.1%降到2.2%，看起来变差，其实是变准了。
排序策略先用规则，别急着上模型。规则1：新帖给一次保底曝光，占推荐位30%；规则2：24小时内互动率低于1%的帖子降权；规则3：同一作者每天最多上推荐位2次。跑满14天、累计7万次曝光后，再算每个规则的贡献。某社区跳过这步直接上协同过滤，冷启动用户占60%，模型根本训不出来。
概率上要理解「小样本的幸存者偏差」。400条帖子里挑出互动率最高的10条，它们的平均互动率一定高于大盘，哪怕内容质量完全一样。这叫回归均值。正确做法是：分组随机曝光，每组至少2000次，再看组间差异。某运营看到某类帖子互动率8%，加大推荐，第二周掉到2.5%，就是没做随机对照。
模型评估在冷启动期用「 pairwise 对比」比绝对值更稳。让标注员对同一话题的两条帖子做二选一，每次200对，做3轮。模型排序和人工排序的一致率从62%提到71%，就算有效。绝对值指标如AUC，在样本少时方差大，容易误判。另外加一个护栏指标：举报率，超过0.5%就停。
举一个具体案例。某摄影社区把「发布时间」特征从模型里去掉，因为担心新帖劣势。结果人均浏览时长降了6%。分析发现，去掉时间特征后，老帖长期占位，新帖曝光不足。改回来并加「新帖加权系数0.3、持续6小时」，新帖互动率回升，人均时长回到原水平。时间、数量、系数都要写进配置，别硬编码。
成本与节奏：冷启动期每天重训一次模型，数据量小，单次训练约20分钟，用1台4核机器足够，月成本约800元。建议每周做一次策略评审，看3个数：曝光去重后的点击率、7日留存、举报率。任何一项连续3天越界就回滚。别在第1周就追求「排序最优」，先保证数据可信、规则可解释。
