站群导航· 游戏攻略 / 礼包码 / 配置 / 换算 / 查询 / 手册
导航菜单
首页 全部文章 留言本

推荐系统里的数据常识:5个统计陷阱让排序效果虚高30%

杭州一个内容推荐团队发现,某栏目"人均阅读时长"高达18分钟,远超同类。查了两天才明白:统计口径把"页面停留"算进去了,用户切到后台刷视频,页面没关,时长继续累加。修正为"有效阅读时长"(有滚动、有点击)后,数字降到6分40秒。

第一个陷阱是幸存者偏差。统计"点击用户的满意度"永远好看,因为没点击的人不在样本里。某资讯App统计点击用户次日留存58%,看似健康;把当日曝光未点击用户也算进来,整体次日留存只有21%。评估推荐质量,分母必须是曝光人群,不是点击人群。

第二个陷阱是均值掩盖分布。某推荐位平均点击率2.3%,看着平稳。按用户分档拆开:高频用户点击率0.8%,低频用户5.1%。原因是高频用户早就看腻了,推荐多样性不足。只看均值,会误判"一切正常",实际头部用户正在流失。

第三个是辛普森悖论。7月整体转化率比6月高1.5个百分点,但分渠道看,每个渠道都在下降。原因是7月低转化渠道的流量占比从20%涨到45%,把整体拉高了。做数据统计必须做分层对比,至少按渠道、新老用户、时间段三个维度交叉看一遍。

第四个是口径漂移。同一指标"日活",产品团队按启动去重算,运营团队按登录算,两边报表差8%。某次周会为了"日活到底是多少"吵了40分钟。解决办法是写指标字典:指标名、计算逻辑、数据源、更新频率、负责人,5个字段缺一不可,全团队共用一份。

第五个是异常值未处理。某商家客单价出现9999元记录,是测试订单。这条数据进入特征后,该品类平均客单价被拉高3倍,排序模型给高价商品加了不该有的权重。常见做法是按分位数截断,比如1%和99%分位做winsorize,并单独维护测试订单黑名单。

落地建议:每周花30分钟做一次指标体检,检查口径是否一致、分布是否偏移、异常值占比是否超过0.5%。某团队坚持做了3个月,发现并修正了7处统计问题,推荐点击率从4.1%提到5.3%。数据常识不玄,就是把分母、分层、口径三件事做扎实。

站群互链

攻略窝 · 礼包窝 · 配置窝 · 换算窝 · 算法窝 · 查文窝 · 手册窝 · 问答窝 · 全文搜 · 手册库
上一篇 推荐排序里那 0.1 秒:从召回到重排的 6 个坑 下一篇 油耗怎么算(采购比价场景)