AB实验是推荐系统决策的核心工具，但指标解读常出偏差。首先要区分护栏指标与目标指标：延迟、错误率、投诉率是护栏，点击率、停留时长、转化率是目标。护栏指标恶化时，即使目标指标提升也应终止实验。
统计显著性不等于业务显著性。大流量实验下微小差异也可能显著，但收益不足以覆盖工程成本。反之小流量实验容易因样本不足得出错误结论，需要提前做功效分析确定最小样本量和实验周期。
新奇效应和周期效应会污染结果。新策略上线初期用户好奇心可能导致指标虚高，周末与工作日行为差异也会影响结论。建议实验至少覆盖一个完整周，并观察指标随时间的收敛趋势，而非只看首日数据。
多指标冲突时需要预设决策规则。常见做法是以核心目标为主、护栏指标设阈值、辅助指标做解释。避免事后挑选有利指标讲故事，那会让实验失去科学价值。
