推荐系统面临经典的老虎机问题：是继续推荐已知高点击的内容，还是尝试未知但可能更好的物品。过度利用会错失潜力内容，过度探索会牺牲短期体验，二者需要动态平衡。
多臂老虎机方法提供了理论框架。ε贪心以固定概率随机探索，简单但探索效率低；汤普森采样按后验分布采样决策，能自适应调整探索强度；置信区间上界算法对不确定性高的物品给予加成，鼓励尝试。
落地时要考虑非平稳性。用户兴趣和物品热度都在变化，历史统计的置信度会随时间衰减。因此需要引入滑动窗口或时间衰减因子，让算法更关注近期表现，避免被过时数据拖住。
探索策略的评估不能只看短期点击率。应设置较长观察窗口，衡量探索带来的新物品发现率和用户长期留存。小流量灰度是必要的，探索带来的体验波动需控制在可接受范围。
