バンディット問題とは
バンディット問題 (Multi-Armed Bandit Problem) とは、強化学習の基本的な課題の1つで、限られた資源をどう配分すれば最大の報酬を得られるかを学ぶ問題です。「バンディット」とは、カジノのスロットマシン（一撃必殺の片腕強盗、One-Armed Bandit）が由来で、複数のスロットマシンの中からどれを選ぶかが問題の中心になります。
バンディット問題の設定
あるカジノに 複数台のスロットマシン（バンディット）が並んでいます。それぞれのマシンは異なる確率で報酬（お金）が得られるように設定されていますが、どのマシンがどれだけの報酬を出すかはプレイヤーにはわかりません。
目的は、試行回数の中で最も高い累積報酬を得るように、適切にスロットを選び続けることです。
具体例：スロットマシン選び
- マシンA：20%の確率で100円
- マシンB：50%の確率で50円
- マシンC：80%の確率で10円
初めはどのマシンが一番儲かるのかわからないため、試しにプレイして確率を推測しながら、徐々に最も稼げるマシンに絞っていく必要があります。
探索と活用のトレードオフ
バンディット問題では、「新しいマシンを試す（探索）」か「これまでに良い結果を出したマシンを選び続ける（活用）」かをバランスすることが重要です。このバランスをうまく取らないと、以下のような失敗が起こります。
- 探索不足：あるマシンが良い結果を出しても、もっと良いマシンがあるかもしれないのに試さずに損をする。
- 探索過多：新しいマシンを試し続けて、すでに高い報酬を得られるマシンを無視してしまう。
よく使われるアルゴリズム
1. ε-グリーディー法 (Epsilon-Greedy Method)
- ほとんどの回数で、これまでに最高の結果を出したマシンを選びます（活用）。
- ただし、ε（イプシロン）という確率でランダムなマシンを選びます（探索）。
- 例：90%の確率で今までの最良のマシンを選び、10%の確率で他のマシンを試す。
2. UCB法 (Upper Confidence Bound)
- 各マシンの報酬の「期待値」に加え、試行回数が少ないマシンを優先するペナルティを加えて行動を選びます。
- 探索をコントロールしながら、確率的にどのマシンが最良かを見極めます。
3. 確率的勾配法 (Thompson Sampling)
- 報酬の確率をベイズ推定でモデリングし、試行ごとに各マシンの成功率を更新していく手法です。
バンディット問題の応用例
1. ウェブ広告の最適化
- 複数の広告（バナー）を表示し、どれが最も高いクリック率を得られるかをリアルタイムで学習します。
2. A/Bテストの効率化
- 2つ以上のバージョン（AとB）をテストしながら、どちらがユーザーに好まれるかを効率よく判定します。
3. 推薦システム
- ユーザーに提示する商品やコンテンツを、最も効果的に選ぶことで売上や閲覧時間を最大化します。
バンディット問題のメリットと課題
メリット
– 簡単な設定で探索と活用のバランスを考える強化学習の基礎を学べる。
– リアルタイムのフィードバックが得られる環境に適している。
課題
– 状態が変化しない環境を前提としているため、時間経過で状況が変わる問題には不向き。
– 複雑な問題では、単純なバンディットでは対応できず、より高度な強化学習手法が必要。
まとめ
バンディット問題は、探索と活用のバランスを学ぶためのシンプルな強化学習問題です。スロットマシン選びを例にしたこの問題は、広告の最適化や推薦システムのような実世界の問題に応用されています。強化学習の入門としてはもちろん、現実の意思決定プロセスに役立つ考え方を提供してくれる課題です。
