2023年4月，某资讯App上线新排序模型，A/B实验跑7天，点击率涨6.2%，看起来可以全量。负责评估的同学多看了一眼人均时长，跌了4.8%，再看次日留存，跌1.3个百分点。三个指标方向不一致，最后没有全量，改回滚重新调目标函数。
评估一个模型上线，至少看6个指标：1）核心业务指标，比如点击率或转化率；2）护栏指标，比如时长、留存、卸载率；3）性能指标，接口P99延迟，一般要求不超过200毫秒；4）成本指标，单次推理的机器成本；5）分布指标，新模型给各内容类目的曝光占比和基线比，偏差超过10个百分点要查；6）长期指标，7日留存和14日复访。前三个看天级，后三个看周级。
翻车记录一：样本比例失衡。实验组只分了5%流量，对照组95%，跑3天实验组人均点击涨9%。查下来实验组那5%恰好是某个高活跃城市，换成按用户ID哈希分层后，差异缩到1.1%。流量分配必须随机且分层，城市、机型、新老用户三个维度都要均衡，均衡性检验看各组这些维度的分布差异，超过2个百分点就重分。
翻车记录二：实验期撞上活动。某电商6月18日上线新召回策略，实验从6月10日跑到6月20日，中间夹着大促。大促期间用户行为整体变化，实验组和对照组的差异被放大。正确做法是避开大促窗口，或者用同一时间段的历史数据做双重差分，把大盘波动扣掉。
翻车记录三：指标定义中途改了。某团队实验第4天把“有效播放”从播放超过3秒改成超过5秒，实验组和对照组改的时间还不同步，后4天数据作废。规矩是实验期间指标口径冻结，确需修改就终止实验重开。
对比离线评估和在线评估。离线用留出法，按时间切分，用前30天训练、后7天测试，AUC 0.78，NDCG@10是0.41。在线A/B只涨1.2%，不显著。差异原因是离线测试集里老用户占比78%，线上新用户占比35%，模型对新用户排序能力弱。离线评估要按用户分层报告，新用户、老用户、低频用户各看一遍。
显著性判断别凭感觉。两组各1万人，转化率从4.0%到4.3%，绝对提升0.3个百分点，用两比例检验算p值约0.04，在0.05水平下显著，但置信区间下界接近0，实际收益可能很小。经验上，实验跑满7天、每组至少5000个转化样本，再下结论。
最后一条，实验要有明确的停止规则。上线前写清楚：核心指标提升超过2%且护栏指标不跌超过1%，连续3天满足就全量；核心指标跌超过1%或护栏指标跌超过3%，立即回滚。规则写在实验文档里，跑完对照执行，避免看到好数据就想再等等、看到坏数据就想再跑跑。
