AB 实验入门：如何科学验证一次改动

AB 实验把用户随机分成对照组和实验组，只改变一个变量，比较两组指标差异。随机化是核心，它保证两组在统计上可比。

实验前要明确核心指标和护栏指标。核心指标衡量收益，护栏指标防止副作用，比如延迟、投诉率或卸载率。

样本量和实验时长要提前算好，不能看到显著就停，那会放大假阳性。多重比较也要校正，否则多看点指标总能碰巧显著。

实验结果显著不等于业务有意义，还要看效应量大小。统计显著但提升微乎其微，上线价值可能抵不过维护成本。