数据统计最容易出的错不是算错,是用错。某运营看板显示某类目点击率从5%涨到8%,团队准备加预算,复核后发现是分母变了:原来按曝光算,改版后按请求算,请求数比曝光数少约35%,点击率自然虚高。
误判一:辛普森悖论。整体点击率上升,分组看却都在下降。例子:A渠道曝光10万点击5000(5%),B渠道曝光1万点击800(8%);次日A降到4.5%、B降到7%,但B的流量占比从9%涨到30%,整体反而从5.3%升到5.4%。按渠道分组看,才能发现两个渠道都在变差。
误判二:均值掩盖分布。人均停留时长从45秒涨到52秒,看着不错。看分位数:P50从30秒降到28秒,P90从120秒涨到150秒。少数长停留用户拉高了均值,多数人体验变差。报告里均值、P50、P90三个数一起给,缺一个都可能误导。
误判三:相关当因果。数据显示用了收藏功能的用户,7日留存高18个百分点。但很可能是活跃用户才去收藏,而不是收藏导致留存。验证方法:看收藏前一周的留存差异,如果两组本来就差15个百分点,功能带来的增量只有3个百分点。或者做实验,随机给一半用户展示收藏入口。
对比一下两种口径:UV口径和PV口径。同一功能,PV口径点击率6.2%,UV口径只有3.1%,差一倍。原因是一个用户多次曝光多次点击,PV把重度用户放大了。对外汇报统一用UV口径更稳,内部迭代可以两个都看。
操作建议:1)指标定义写清分子分母与统计周期;2)重要结论必须分组复核;3)均值配分位数;4)相关性结论标注“非因果”;5)口径变更留版本记录,改版前后至少并行跑7天双口径。
一个真实案例:某活动页转化率报出12%,远高于日常3%。查下来是把“点击领券”和“下单”混在一个分子里,实际下单转化只有2.8%。分开统计后,领券到下单的转化率是23%,才是真正该优化的环节。
数字底线:任何超过基线2倍的指标突变,先怀疑口径,再怀疑业务。这个习惯能挡掉八成假信号。