推荐系统如果只推模型认为最好的物品,会陷入信息茧房,用户兴趣窄化,新物品也永远没有机会。探索与利用的平衡是长期健康的关键。
多臂老虎机是经典框架,epsilon-greedy 以一定概率随机探索,简单但探索效率低。UCB 用置信上界鼓励不确定性高的臂,理论保证较好。
Thompson 采样按后验分布抽样决策,探索自然且效果稳定,在推荐场景应用广泛。它需要维护每个物品的收益分布,工程上可用 beta 分布近似点击场景。
探索要有约束:不能为了探索牺牲太多短期指标,也要避免向用户推明显不相关的内容。常见做法是在相似物品集合内探索,或设置探索流量比例上限。
评估探索效果要看长期指标,比如用户留存、兴趣广度和新物品的成长速度。短期点击率下降但长期留存提升,往往是值得的。