2022年某在线教育平台统计“课程完课率”,全站均值31%,看起来很健康。按课程时长分层后,10分钟以内短课完课率68%,60分钟以上长课只有9%。均值31%掩盖了两极分化,运营按均值定目标,长课团队怎么努力都达不到,短课团队轻松超标。数据统计的第一个常识:均值只对对称分布有意义,偏态分布要看中位数和分位数。
案例1,均值陷阱。某电商统计用户客单价,均值186元,中位数92元。均值被头部5%的高客单用户拉高。如果按均值做满减门槛(满200减20),62%的用户根本够不到,活动参与率只有11%。改成满100减10后参与率升到34%,GMV涨9%。做法很简单:先画分布直方图,看P50和P90,门槛设在P60到P70之间最常见。
案例2,辛普森悖论。某内容App统计“新版播放器是否提升停留时长”,整体看新版比旧版低2分钟,但拆成短视频(小于1分钟)和长视频两组,新版在两组里都更高。原因是新版把更多用户引导到短视频,短视频天然停留短,拉低了整体。判断方法:按关键维度(内容类型、用户活跃度)分层,每层内比较,再看各层占比变化。只做整体比较会得出反向结论。
案例3,幸存者偏差。某SaaS统计“流失用户的最后行为”,发现78%的流失用户最后一次登录看了“价格页”,于是判定价格页是流失信号,把价格页藏起来。问题在于没看留存用户:留存用户里也有71%看过价格页。两个比例接近,价格页根本不是区分因素。正确做法是对比流失组和留存组的比率,算提升度(78%/71%=1.1),提升度接近1的变量没有区分力。
概率常识:小样本的比率极不稳定。某新功能上线3天,100个用户里8个投诉,投诉率8%,团队慌着回滚。按二项分布算,真实投诉率的95%置信区间约[3.5%, 15.2%],样本量太小。继续观察两周到1200个用户,投诉率稳定在2.1%。判断规则:比率类指标样本量小于400时,别急着下结论,先看置信区间宽度。
数据统计还有两个常见错误。错误1,把相关当因果:某团队发现用了收藏功能的用户复购率高3倍,于是猛推收藏,结果复购没变。因为高意愿用户本来就爱收藏也爱复购。验证因果要做AB实验或倾向得分匹配。错误2,分母不一致:统计“支付转化率”,分子用支付订单数、分母用访问UV,算出3%,实际订单转化率应该是支付订单数/下单订单数。口径写清楚,分子分母同一层级。
一份可操作的自查清单。1)看分布再定指标,均值、中位数、P90一起报。2)分层看至少2个维度,记录各层占比。3)对比组间比率时算提升度,别只看单组绝对值。4)小样本比率带置信区间,样本小于400不下结论。5)相关分析先排除共同原因,能实验就实验。6)每个指标写清分子分母和统计周期。这6条做到,数据结论的返工率能降一半。