推荐系统把不相关的内容推到用户面前,往往不是模型不够复杂,而是数据常识出了问题。比如把用户误点的商品当作真实偏好,或把测试环境的行为混进训练集,都会让算法学到错误结论。算法再精巧,也建立在数据真实可信的前提之上。
数据常识的第一条是分清数据来源与用途。日志数据、埋点数据、业务库数据各有口径,同一指标在不同系统中可能含义不同。使用前要确认字段定义、统计周期和采集方式,避免把不同口径的数据直接拼接计算。
第二条是关注数据分布与异常。缺失值比例过高、某个渠道流量突增、极端值拉高均值,都会干扰模型判断。做基础统计描述和分布检查,比直接调参更能发现根本问题。
第三条是理解算法只是工具。它放大数据中的模式,也放大数据中的偏差。训练数据覆盖不到的人群,模型表现通常更差。承认算法边界,是数据常识的重要部分。
所以做算法工作要先做数据工作:搞清来源、看分布、查异常、明边界。这些朴素动作决定后续推荐排序和模型评估是否可靠,也决定系统能否长期稳定运行。