探索与利用是推荐系统的核心决策问题：利用是推荐已知用户喜欢的物品以获取即时收益，探索是尝试推荐不确定的物品以获取信息、发现潜在兴趣。只利用会陷入信息茧房，只探索则浪费流量。
多臂老虎机是经典建模框架，把每个物品看作一个臂，每次选择获得反馈并更新对收益的估计。ε-贪心以一定概率随机探索，实现简单但探索效率低，且不区分物品的不确定性。
UCB方法根据收益估计和不确定性构造上界，优先选择上界高的臂，能在探索与利用间取得理论保证的平衡。Thompson采样则从后验分布中采样决策，天然平衡探索，且易于扩展到上下文场景。
推荐系统中探索还要考虑用户体验成本。随机推荐不相关物品会伤害体验，因此常用受约束的探索：在相关性达标的候选集内探索，或对探索流量做限额，并监控负反馈指标。
探索的价值是长期的：它能打破反馈闭环、发现新兴趣、给新物品成长机会。评估探索效果不能只看短期点击率，应关注用户兴趣广度、新物品成长速度和长期留存。
