想验证新功能是否有效，最可靠的方式是做 A/B 实验。把用户随机分成两组，一组用旧版本作对照，一组用新版本作实验，再比较核心指标差异。随机化是关键，它让两组在统计上可比。
实验前要确定唯一的核心指标和辅助指标，并估算所需样本量。样本太小，微小差异可能只是随机波动；样本太大，又会浪费流量和时间，还可能让用户长期暴露在差体验中。
要警惕常见陷阱：两组流量分配不均、实验期间有其他改动混入、指标定义偷偷变化、只挑显著的结果汇报。这些都会让结论失真，甚至得出相反方向。
看到显著差异后还要看实际意义。提升百分之零点一在统计上显著，业务上未必值得上线。结合成本、风险和长期影响综合判断，实验结论才算真正落地。
