某工具类App的推荐模型迭代，离线AUC从0.71升到0.74，团队决定直接全量。上线3天，人均使用时长降了2.8%，赶紧回滚。复盘发现：离线验证用了随机切分，训练集和测试集有同一用户，数据泄漏。改成按时间切分后，AUC只有0.715，提升微乎其微。
A/B实验的5个统计细节：1）分流要按用户ID哈希，不能按请求，否则同一用户来回切策略；2）两组样本量要提前算，检测2%的相对提升，日活10万、基线指标0.3，每组至少需要约8万用户、跑7天；3）别在实验中途看显著性然后提前停，会抬高假阳性；4）护栏指标至少3个，如崩溃率、举报率、卸载率；5）实验期覆盖完整周末，工作日和周末行为差异能到20%。
概率常识：p值小于0.05不代表「策略有效概率95%」。它只说明「若两组无差异，观测到当前差异的概率小于5%」。某团队跑了20个实验，3个显著，按0.05阈值本来预期1个，多出来的2个很可能是假阳性。建议做多重比较校正，或把阈值降到0.01，尤其在小样本场景。
数据统计的坑在「平均值」。人均时长涨了，可能是因为1%的重度用户涨了30分钟，其余99%没变。要看分位数：P50、P90、P99。某阅读App的P50时长没变，P99涨了15分钟，运营以为整体变好，实际是少数人刷到停不下来，第二天留存反而降了3个百分点。分位数和留存要一起看。
案例对比：策略A把热门内容权重调高，策略B把多样性权重调高。7天实验，各5万用户。A的点击率4.1%、7日留存31%；B的点击率3.8%、7日留存34%。只看点击率会选A，看留存选B。最终选B，因为留存带来的长期价值更高。评估指标要提前定好主指标和次指标，别等结果出来再挑。
上线步骤建议5步：1）影子模式跑3天，对比新旧策略打分差异；2）1%流量灰度24小时，看错误率和延迟；3）10%流量跑7天A/B；4）显著且护栏达标后放到50%，再观察3天；5）全量，保留一键回滚。某团队省略第1步，上线当天接口超时率从0.2%涨到1.1%，查了6小时才发现是新模型特征计算太慢。
成本参考：一次规范的7天A/B实验，需要实验平台、指标看板、人工评审，约3到5人日。相比一次错误全量带来的回滚和用户流失，这笔投入很值。价格上，小团队用开源实验框架加自建看板，月成本约2000到4000元；买商用服务约每月1到3万元。先算清实验要回答什么问题，再决定花多少钱。
