产品经理最常问的一句话：转化率从5.0%涨到6.0%，能不能全量？答案取决于样本量、基线波动和业务成本，不是一个阈值能定的。下面用3个真实量级说明。
案例一：日活8000的小工具，灰度2天，A组4000人转化5.1%，B组4000人转化5.9%。用两比例检验，p值约0.11，不显著。但业务方坚持上线，结果全量后一周转化5.2%，与A组几乎一致。原因：灰度期有新鲜感效应，且B组恰好赶上一次外部热点。
案例二：日活60万的电商，每组3万人，A组5.0%、B组5.4%。p值0.02，显著。上线后30天，B方案转化稳定在5.3%，月增订单约1.8万单，按客单89元算，月增GMV约160万元。这个量级值得上。
对比两种判断方式。方式A：只看点估计差1个百分点就上，误判率高，小样本下约3成是噪声。方式B：先算所需样本量，再看置信区间下界是否大于业务最小可感知提升（比如0.3个百分点）。方式B多花半天，但能挡掉大部分假阳性。
概率上要理解两类错误。假阳性：实际没提升却上线，浪费开发资源，还可能伤害体验。假阴性：实际有提升却没上，损失机会。转化率场景下，假阳性的代价通常是1-2周回滚加少量用户流失，假阴性的代价是持续少赚。一般把α设为0.05、β设为0.2，即容忍5%假阳性、20%假阴性。
一个容易忽略的点：多重比较。一次实验看12个指标，每个指标都做5%显著性检验，至少1个指标假阳性的概率约46%。做法是只设1个主指标，其余为辅助指标，辅助指标不参与上线决策，或对p值做Bonferroni修正（12个指标则阈值取0.05/12≈0.004）。
价格区间也影响判断。某会员产品年费从199元调到219元，转化率从4.8%降到4.5%，但ARPU从9.55元升到9.86元。单看转化率是跌的，看收入是涨的。这类场景主指标应是收入而非转化率，提前定好，避免上线后扯皮。
操作步骤：1）实验前写清主指标和最小可感知提升；2）用基线转化率算样本量；3）跑满预定周期，至少覆盖1个完整周；4）看置信区间而非只看p值；5）上线后设7天观察期，对比灰度与全量的差异。5步走完再决策，比拍脑袋稳。
