运营说“新版详情页转化率从3.0%涨到3.6%，效果显著”，问样本量：两组各800人。算一下，差值0.6个百分点，标准误约0.72个百分点，95%置信区间跨0，p值约0.41。结论：什么也说明不了。这就是典型的拿噪声当信号。
样本量怎么估？公式记不住没关系，记经验值：转化率3%左右，想检测0.5个百分点的提升，每组约需1.1万人（α=0.05，power=80%）。转化率10%想检测1个百分点，每组约1.6万人。某团队每次实验只跑3000人，连续6次“显著”，上线后全翻车，因为6次里2次是假阳性，概率上完全正常。
案例一：某电商把“满199减20”改成“满199返20券”，支付转化率从4.1%到4.5%，样本各2万人，p=0.03，看着显著。但退款率从6%涨到11%，净GMV反而降了3%。教训：主指标显著不够，护栏指标必须同时看，且要算净收益。
案例二：某App推送时间从晚8点改到晚9点，打开率22%对24%，样本各5万，p=0.02。上线后发现长期打开率回落，原因是晚9点推送和竞品撞车。短期实验测不出“用户疲劳”，需要连续观察4周，或做长期holdout组（留5%用户不推，做对照）。
案例三：某推荐模型离线NDCG涨5%，小流量A/B人均时长涨1.2%，p=0.04，全量上线。两周后时长回落且新增投诉“内容重复”。复盘：实验期只跑了3天，没覆盖周末；且实验组用户只有2万，其中活跃用户占68%，和全量用户结构不符。分层抽样没做，结论不可外推。
概率常识清单：①p<0.05只说明“不太可能是偶然”，不说明效果大；②多重比较要校正，一次跑10个指标，至少1个“显著”是必然；③贝叶斯视角更直观，直接说“新版优于旧版的概率是92%”，业务方更好懂；④别在看到结果后再定停止规则，那会系统性高估效果。
落地习惯：实验前写一页纸，固定主指标1个、护栏指标2个、样本量、运行天数（至少7天且覆盖完整周）、停止规则。实验后先看置信区间，再看业务含义。某公司坚持这个流程后，实验“显著但上线无效”的比例从31%降到9%。
