多臂老虎机：探索与利用的经典权衡

多臂老虎机问题是：面对多个选项，每次选一个，如何在探索新选项和利用已知好选项之间平衡。

推荐系统的冷启动和多样性都涉及这个权衡。一直利用会错过潜在好内容，一直探索则浪费流量。

常见算法有 epsilon 贪心、UCB 和汤普森采样。epsilon 贪心简单，UCB 用置信上界平衡不确定性。

实际落地要考虑非平稳性，用户兴趣会变化。加入滑动窗口或衰减因子，能让策略更快适应新情况。