线上指标突然下跌,第一反应不应该是改模型,而是先确认数据本身是否可靠。很多所谓的效果波动其实是埋点、上报或计算链路出了问题。
排查应按链路逐层推进:客户端埋点是否正常、上报是否丢失、ETL 任务是否延迟、指标计算逻辑是否变更。先排除数据问题,再看业务问题。
数据确认无误后,做维度下钻:按端、地区、版本、用户分层拆解,看跌幅集中在哪个子群。集中性往往指向具体故障点,比如某个版本崩溃或某路召回失效。
同时对比同期实验和对照组。如果对照组也跌,说明是全局因素如节假日或竞品动作;如果只有实验组跌,则优先怀疑策略改动。
建立标准化的排查清单和值班机制,把常见根因和验证方法沉淀下来,能显著缩短故障恢复时间,也减少靠直觉猜测带来的误判。