线上核心指标突然上涨或下跌,团队第一反应往往是“是不是昨天上线的新模型”。但指标波动的原因可能有很多,草率归因会导致错误决策,甚至把噪声当成策略有效。
首先要判断波动是否超出正常范围。很多指标本身有周期性,工作日与周末、白天与深夜差异明显。应与上周同一天、前几周同期对比,而不是简单看环比。
其次要排查数据链路问题。埋点上报延迟、日志丢失、统计口径变更、下游任务失败,都会造成指标异常。在确认数据本身可信之前,不要急着分析业务原因。
排除数据问题后,再看波动是全局的还是局部的。按渠道、机型、用户分层拆解,如果只有某个小流量实验组变化,才可能是策略导致;若所有组同步变化,更可能是外部事件或大盘趋势。
归因要讲证据链:时间点是否吻合、影响范围是否符合预期、剂量效应是否存在。多个证据相互印证才能下结论,单靠一条曲线巧合不足以证明因果关系。