A/B 实验是验证产品与算法改动的黄金标准。核心思路是把用户随机分成对照组和实验组，除待测变量外其他条件尽量一致，通过指标差异判断改动是否真的有效。随机分流单元通常用用户 ID 哈希。
实验设计要先定好主指标和护栏指标。主指标衡量收益，护栏指标防止副作用，比如点击率提升但时长下降、投诉率上升。指标要在实验开始前确定，避免事后挑指标。
样本量和实验时长要提前估算。样本太小容易把随机波动当成显著差异，时长太短会受周期性影响。一般至少覆盖一个完整周，并确保每组样本量满足检验功效要求。
分流要保证互斥和均匀，同一用户在整个实验期内固定在同一组。多实验并行时要检查流量正交，避免实验间相互干扰。分流日志必须打标，便于后续复盘。
结果解读要看置信区间而非只看 p 值，同时关注新奇效应和长期影响。显著不等于有业务价值，要结合实际收益评估是否全量。
