AB实验是验证策略效果的金标准。完整流程始于明确假设：要改什么、预期影响哪个指标、最小可检测效应是多少。假设不清就上线实验，往往得到无法解释的结果。
第二步是确定核心指标与护栏指标。核心指标衡量收益，如点击率、转化率；护栏指标防止副作用，如页面加载时长、投诉率。只盯收益指标容易忽视长期损害。
第三步是样本量与分流设计。根据基线指标、最小可检测效应、显著性水平和统计功效计算所需样本量。分流要保证随机性和独立性，同一用户应始终落入同一组，避免体验抖动。
第四步是运行与监控。实验期间不要频繁偷看并提前停止，这会抬高假阳性率。若必须中期看，应使用序贯检验方法并调整显著性阈值。同时监控分流比例是否均衡、有无样本污染。
最后是分析与决策。除显著性外，还要看效应大小和置信区间，评估业务价值。若结果不显著，要区分是效应不存在还是功效不足。实验结论应归档，形成可复用的知识沉淀。
