AB 实验是验证算法改动的黄金标准。核心是把流量随机分成对照组和实验组，除待测变量外其他条件保持一致，通过指标差异判断改动是否有效。随机性保证了组间可比。
分流要保证同一用户在实验期间稳定落在同一组，通常用用户 ID 做哈希取模。分流单元的选择很关键，按用户分流适合个性化策略，按会话或请求分流适合无状态服务，混用会导致体验割裂。
样本量和实验时长要提前计算。样本太少统计功效不足，可能漏掉真实的小幅提升；时长太短会受新奇效应和周期波动干扰。一般至少覆盖一个完整周，包含工作日和周末。
显著性判断用假设检验。看指标的置信区间是否跨越零，或 p 值是否小于预设阈值。要注意多重比较问题，同时看多个指标时假阳性概率上升，需做 Bonferroni 等校正。
实验结束不等于结论可靠。要检查分流是否均衡、有无埋点异常、指标是否符合预期方向。若结果与离线评估冲突，优先相信线上数据，并深挖差异原因，这往往是发现模型盲点的机会。
