矩阵分解是推荐系统从记忆走向泛化的关键一步。它把庞大的用户-物品评分矩阵分解为两个低维隐向量矩阵的乘积,用少量参数捕捉潜在的兴趣结构,从而预测缺失的评分。
直观理解是:每个用户被表示成一个隐向量,每个物品也被表示成一个同维度的隐向量,二者点积就是预测评分。隐向量的每一维可以理解为某种潜在兴趣因子,比如“偏文艺”“重性价比”,但通常不具备明确的语义。
训练目标是最小化观测评分与预测评分的平方误差,通常加入L2正则防止过拟合。优化方法有交替最小二乘和随机梯度下降两类,前者适合并行批处理,后者实现简单、易于在线更新。
矩阵分解的局限在于只利用交互数据,冷启动物品无法获得向量。改进方向包括加入物品内容特征做混合分解、引入偏置项刻画用户和物品的固有倾向,以及用时间衰减建模兴趣漂移。
实践中要警惕隐向量维度选择:维度过低表达力不足,过高则容易过拟合稀疏数据。通常用交叉验证在验证集上搜索,并结合早停策略确定合适规模。