推荐系统的效果上限很大程度上由数据链路质量决定。埋点定义含糊、日志丢失、样本拼接错误,任何一个环节出问题都会让模型学到错误规律,而且这类问题往往隐蔽,难以从指标上直接发现。
埋点设计要明确事件语义。曝光应记录请求标识、物品标识、位置和展示时间;点击要关联到具体曝光,避免重复计数。建议统一事件模型和字段命名,前端、服务端、客户端各端对齐口径。
日志采集要考虑完整性和顺序。高并发下日志丢失和乱序常见,需要唯一请求标识做串联,并在拼接时校验时间顺序。对关键链路设置采样核对,定期比对埋点日志与业务库数据的一致性。
样本拼接是训练数据生产的关键步骤。曝光与点击按请求标识和时间窗口关联,负样本需明确未点击的定义和观察窗口。拼接逻辑变更要版本化,并保留原始日志以便回溯,避免数据问题无法复现。