AB 实验是验证算法改动是否有效的标准方法。核心思想是把用户随机分成实验组和对照组，只改变一个变量，比较两组指标差异是否显著。说起来简单，做对不容易。
实验前要明确假设和主指标。假设应具体可检验，比如新排序策略提升次日留存。主指标只选一个，辅助指标用于解释和护栏。指标太多会增加假阳性风险。
分流要保证随机且互斥。同一用户应始终落在同一组，避免体验割裂。分流单元可以是用户、设备或会话，选择取决于实验影响的粒度。分流不均匀会直接污染结果。
显著性检验要看样本量和效应大小。样本不足时差异可能只是噪声，样本过大时微小差异也会显著但无业务价值。要提前做功效分析，确定所需样本量和实验周期。
实验结束不等于结论可靠。要检查分流是否均衡、指标是否有异常波动、是否存在新奇效应。结合长期指标和分层分析，才能判断改动是否真正值得上线。
