大規模言語モデルのための強化学習：最新サーベイ

紹介論文

今回紹介する論文はA Survey of Reinforcement Learning for Large Reasoning Modelsという論文です。

この論文を一言でまとめると

大規模言語モデル(LLM)の推論能力を強化する強化学習(RL)の最新動向を解説。主要な構成要素、課題、リソース、応用事例を網羅し、今後の発展の方向性を示します。

LLMにおける推論とRLの役割

AI技術の進化を牽引する大規模言語モデル（LLM）は、自然言語処理（NLP）分野において目覚ましい成果を上げてきました。しかし、その一方で、複雑な推論タスク、特に数学やコーディングといった領域においては、その能力に限界があることも明らかになっています。そこで、LLMの推論能力を向上させるための有望な手法として、強化学習（RL）が脚光を浴びています。

RL：LLMの推論能力を向上させる鍵

強化学習（RL）は、エージェントが環境とのインタラクションを通じて学習するフレームワークであり、LLMに複雑なタスクを実行するための戦略を学習させることが可能です。具体的には、LLMに様々な行動を試し、その結果に基づいて報酬を与えることで、より高度な推論能力を獲得させることができます。

従来のRLHFから推論自体を目的としたRLへ

従来のRLは、主に人間のフィードバック（RLHF）を用いて、LLMを人間の価値観に合致させることに重点が置かれていました。RLHFは、有用性、正直さ、無害さ（3H）といった人間の好みを反映するようにLLMを調整します。しかし近年、より高度な推論能力を獲得するために、推論自体を目的としたRL（RL for Reasoning）という新しいトレンドが台頭してきているのです。これは、単に行動を調整するだけでなく、推論そのものを促進することを目的としています。

OpenAIの01やDeepSeek-R1といった最近のマイルストーンは、数学の答えの正確さやコードの単体テスト合格率のような検証可能な報酬（Verifiable Rewards）を用いたRLが、LLMに計画、反省、自己修正といった高度な推論能力を付与できることを示しています。

RL for Reasoningの利点

RL for Reasoningは、従来のRLHFと比較して、以下のような利点があります。

• LLMが中間的な思考連鎖を生成、評価、修正するためにテスト時間計算を割り当てることを可能にし、パフォーマンスを向上させる。
• データとパラメータのスケーリングに加えて、能力向上のための補完的な経路を提供する。
• 信頼できる検証者が存在する場合には、自動的にチェック可能な報酬を活用できる。
• 自己生成されたトレーニングデータを可能にすることで、データ制限を克服できる。

このように、RLはLLMの推論能力を飛躍的に向上させる可能性を秘めており、今後のAI研究開発においてますます重要な役割を担うと考えられます。

RL for LRMs：構成要素の徹底解剖

RL for LRMsを効果的に活用するためには、その構成要素を深く理解することが不可欠です。本セクションでは、RL for LRMsを構成する主要な要素である、報酬設計、ポリシー最適化、サンプリング戦略に焦点を当て、それぞれのアプローチについて技術的な詳細を比較検討します。

報酬設計：タスクを導く報酬シグナル

報酬設計は、RLエージェントが学習する際の指針となる報酬シグナルをどのように設計するかという問題です。効果的な報酬設計は、エージェントが望ましい行動を学習し、タスクを効率的に達成するために不可欠です。ここでは、代表的な報酬設計として下記を紹介します。

* **検証可能な報酬（Verifiable Rewards）**
検証可能な報酬は、数学やコーディングといったタスクにおいて、正確性やフォーマットチェックを利用することで、スケーラブルで信頼性の高いトレーニングシグナルを提供します。DeepSeek-R1では、検証可能な報酬メカニズムを通じてRLのスケーラビリティを実証しました。しかし、ルールベースの検証は、モデルが正しい答えを予期しない形式で生成した場合に誤検知を引き起こす可能性があります。
* **生成的報酬（Generative Rewards）**
生成的報酬は、主観的で検証不可能なドメインにRLを拡張し、ニュアンスのあるテキストベースのフィードバックを提供することで、ルールベースのシステムの限界を克服します。GenRMは、LLMの生成能力を活用して、構造化された批評、理由、好みを生成し、より解釈可能でニュアンスのある報酬シグナルを提供するのが特徴です。
* **密な報酬（Dense Rewards）**
密な報酬は、頻繁なフィードバックを提供し、サンプル効率と最適化の安定性を改善します。古典的なRLタスクでは、密な報酬は（ほぼ）すべての決定ステップで頻繁なフィードバックを提供します。密な報酬は、クレジット割り当ての範囲を狭め、サンプル効率と最適化の安定性を向上させる効果があります。
* **教師なし報酬（Unsupervised Rewards）**
教師なし報酬は、人間のアノテーションボトルネックを排除し、計算とデータ規模での報酬シグナル生成を可能にします。モデル自身のプロセス（モデル固有：一貫性、内部信頼性、自己生成知識）または自動化された外部ソース（モデル非依存：ヒューリスティクス、データコーパス）からシグナルを導出します。
* **報酬整形（Rewards Shaping）**
報酬整形は、疎なシグナルを安定した有益な勾配に変換し、LLMトレーニングを強化します。検証ツールと報酬モデルを組み合わせ、グループベースラインとPass@Kアラインされた目的を使用して、トレーニングを安定させ、探索を拡大し、評価指標に大規模に一致させることも可能です。

ポリシー最適化：最適な行動戦略を求めて

ポリシー最適化は、期待される累積報酬を最大化する最適なポリシーを見つけるプロセスです。LLMのRLにおけるポリシー最適化は、通常、パラメータ数の多いLLMに対して、方策勾配法のような勾配ベースのアルゴリズムが用いられます。代表的なアプローチとして下記を紹介します。

* **ポリシー勾配目的（Policy Gradient Objective）**
期待される累積報酬を最大化する最適なポリシーを見つけることを目的とします。
* **クリティックベースのアルゴリズム（Critic-based Algorithms）**
クリティックモデルは、ラベル付けされたデータの小さなサブセットでトレーニングされ、ラベル付けされていないロールアウトデータに対してスケーラブルなトークンレベルの値シグナルを提供します。RLHFは、人間の好みに基づいて報酬モデルをトレーニングし、その報酬モデルをクリティックとして使用します。
* **クリティックフリーのアルゴリズム（Critic-Free Algorithms）**
クリティックモデルを必要とせず、トレーニングにはシーケンスレベルの報酬のみが必要で、より十分でスケーラブルになります。RLVRタスクでは、ルールベースのトレーニングシグナルにより、報酬ハッキングなどのクリティック関連の問題を確実に防止します。
* **オフポリシー最適化（Off-policy Optimization）**
データ収集をポリシー学習から分離することにより、サンプル効率を高め、履歴、非同期、またはオフラインデータセットからのトレーニングを可能にします。ターゲットポリシーと行動ポリシーの間の分布シフトを修正します。
* **正則化目的（Regularization Objectives）**
目的固有の正則化は、探索と活用のバランスを取り、RL効率とポリシーパフォーマンスを向上させるのに役立ちます。KL、エントロピー、長さの正則化などがあります。

サンプリング戦略：効率的な学習のためのデータ選択

サンプリング戦略は、RLエージェントが経験を収集する方法を決定します。効果的なサンプリング戦略は、エージェントが学習するのに役立つ関連性の高いデータを提供し、トレーニングプロセスを加速させます。ここでは、代表的なサンプリング戦略として下記を紹介します。

* **動的サンプリング（Dynamic Sampling）**
動的サンプリングは、成功率、アドバンテージ、不確実性、または推定された難易度などのオンライン学習シグナルに基づいて、ロールアウトのプロンプトの選択と、それぞれに割り当てられた計算予算の両方を適応させます。効率指向のサンプリングは、難易度が中程度の質問にトレーニングを集中させるためにオンラインフィルタリングを使用します。
* **構造化サンプリング（Structured Sampling）**
構造化サンプリングは、生成、クレジット割り当て、および基盤となる問題解決の構造との計算の再利用を調整します。ロールアウトをツリーとして整理するか、共有およびセグメント化されたプレフィックスを介して整理することにより、これらのメソッドはノードレベルの報酬、部分計算の改善された再利用、およびメモリと予算の制約下でのサンプル効率の向上を可能にします。

RL for LRMsにおいて重要なことは、タスクとモデルの特性に合わせてこれらの構成要素を適切に組み合わせ、調整することです。次章では、RL for LRMsにおける議論の多い問題点について議論します。

RL for LRMs：未解決の課題と今後の展望

このセクションでは、RL for LRMs (大規模言語モデルのための強化学習) の分野で、現在議論が活発な、そして未解決な課題を掘り下げて解説します。これらの課題を理解することは、今後の研究開発の方向性を定める上で不可欠です。

### RLの役割：シャープニングか発見か？

RLがLLMの能力をどのように向上させるのか、2つの対照的な視点が存在します。

* シャープニングの視点：RLは、既存のモデルにすでに存在する知識を洗練し、より適切な重み付けを行うことで、性能を向上させると考えます。つまり、本質的に新しい知識を創造するのではなく、既存の能力を磨き上げるという見方です。
* 発見の視点：RLは、事前学習では獲得できなかった、真に新しい知識や推論パターンを発見することを可能にすると考えます。この視点では、RLはLLMの潜在能力を最大限に引き出す触媒として機能します。

近年の研究では、十分な時間をかけて安定化されたRLは、基本モデルの推論能力を拡張し、幅広いタスクにおいて優れた成果を達成できることが示されています。このことは、RLが単なる既存知識の洗練に留まらず、新たな発見をもたらす可能性を示唆しています。

### RLとSFTの境界：汎化か暗記か？

強化学習（RL）と教師あり学習（SFT）は、LLMの学習における主要なパラダイムですが、その境界線は曖昧です。

* SFTは暗記を促し、RLは汎化を促す：SFTはトレーニングデータに過剰適合する傾向があり、RLはより新しい状況に適応できる汎化を促進すると主張されています。
* RLは必ずしも万能ではない：RLの効果は、初期データ分布と報酬設計に大きく依存します。RLは過学習を部分的に軽減できますが、深刻な過学習や分布シフトの場合には効果がない場合があります。SFTに適切な正則化、信頼領域制約、動的リスケールを適用すると、汎化を大幅に改善でき、多くの場合、その後のRLに向けてモデルをより適切に準備できます。実際、SFTは疎な報酬RLの下限として機能する可能性があります。

### モデルの事前知識：弱いモデルか強いモデルか？

RL戦略は、モデルがすでに持っている知識にどのように依存すべきでしょうか。

* RLは強力な事前知識と組み合わせることで効果を発揮する：RLは、十分に強力なモデルの事前知識と検証可能な報酬シグナルを組み合わせることで、幅広いタスクで優れたパフォーマンスを発揮できます。この視点では、RLは既存の知識を洗練するためのツールとして機能します。
* ベースモデルとインストラクトモデルの比較: ベースモデルの方が良いのか、インストラクトモデルの方が良いのか。QwenとLlamaアーキテクチャ間のRL応答性の違い、および弱い事前モデルと強い事前モデルの両方でRLの結果を強化できる新興戦略。

### 学習アルゴリズム：トリックか罠か？

RLの学習プロセスを安定させ、優れた結果を得るためには、どのようなテクニックを用いるべきでしょうか。

* 安定化テクニックは不可欠：RLトレーニングの安定性を確保するために、トリミング、ベースライン補正、正規化、KL正則化などのさまざまなエンジニアリング技術が用いられます。
* RLの成功はトリッキーなものになりうる：これらのテクニックは、一見すると効果的に見えるかもしれませんが、実際には学習プロセスを妨げたり、モデルのパフォーマンスを制限したりする可能性があります。報酬ハッキングに繋がるケースもあります。

### 報酬タイプ：プロセスかアウトカムか？

報酬は、最終結果に基づいて与えるべきでしょうか、それとも中間ステップの質に基づいて与えるべきでしょうか。

* アウトカム報酬：実装が簡単でスケーラブルですが、不正な思考連鎖を暗黙的に奨励する可能性があります。
* プロセス報酬：より安定して信頼性が高く、数学的推論において効果的ですが、ステップごとのアノテーションは非常にコストがかかり、品質はさまざまなドメインで低下する可能性があります。
* 両方を組み合わせる：暗黙的なプロセスモデリングや生成的検証ツールなど、2つの報酬を組み合わせることで、将来の報酬設計において有望な方向性を示す可能性があります。

RL for LRMs：学習リソースと応用事例

RL for LRMsの学習と応用を成功させるためには、適切なリソースの選択が不可欠です。ここでは、主要な学習リソースと、RLがLLMにもたらす具体的な応用事例について解説します。

学習リソース（Training Resources）

RL for LRMsの学習リソースは、主に以下の3つに分類できます。

静的コーパス（Static Corpus）

• RL推論データセットは、大規模なローデータから、より高品質で検証可能な教師ありデータに移行しており、蒸留、フィルタリング、および自動評価を使用して、サンプル効果とプロセス忠実度を高めています。
• データカバレッジは、単一ドメイン（数学/コード/STEM）から、トレース可能な計画-行動-検証軌跡を持つ検索、ツール使用、およびエージェントタスクを含むように拡張されています。

動的環境（Dynamic Environment）

• 高度で汎化可能な推論能力には、静的なRLトレーニングデータセットでは不十分であることがますます明らかになっています。
• スケーラブルなRLは、合成または生成されたデータや、さまざまなジムやワールドモデルなどのインタラクティブな環境に移行する必要があります。

RLインフラストラクチャ（RL Infrastructure）

• 最新のRLインフラストラクチャは、柔軟なパイプラインと通信レイヤーを中心に構築されており、エージェントロールアウトとポリシーのトレーニング間でリソースを割り当て、通常は成熟した分散トレーニングフレームワークと推論エンジンとして実装されます。
• エージェントワークフロー、マルチエージェント、マルチモーダルなど、特殊なバリアントは、通常、非同期ロールアウト/トレーニングと標準化された環境インターフェイスをサポートします。

応用事例（Applications）

RL for LRMsは、様々なタスクにおいて目覚ましい成果を上げています。ここでは、主要な応用事例を紹介します。

コーディングタスク（Coding Tasks）

• RLは、競争力のあるプログラミングやドメイン固有タスクにおいて、LLMの推論とコード生成を高度化させています。
• RLは、エージェントのクローズドループコーディングに向けて進歩を遂げています。

エージェントタスク（Agentic Tasks）

• エージェントRLは高度な動作を可能にするが、高い計算コストと環境内での長いロールアウト時間により、スケーラビリティの問題に直面します。
• 非同期ロールアウトとメモリリソースは、レイテンシを削減し、コンテキストを管理するのに役立ちますが、さらなる進歩はより良いトレーニングデータに依存します。

マルチモーダルタスク（Multimodal Tasks）

• RLは、制限されたデータ設定、長いビデオ推論、および数値的または属性的に機密性の高いクロスモーダル生成などの課題に対処するために、マルチモーダルモデルを強化します。

まとめ

RL for LRMsは、ソフトウェアエンジニアリング、科学的発見、医療診断、ロボット工学など、多岐にわたる現実世界の問題を解決できる可能性を秘めています。これらの分野でのさらなる研究開発により、ASI（人工超知能）の実現に大きく貢献することが期待されます。

ASIを見据えたRLの未来

大規模言語モデル（LLM）の能力を飛躍的に向上させる強化学習（RL）ですが、その道のりはまだ始まったばかりです。ここでは、人工超知能（ASI）の実現に向けて、今後のRL研究が向かうべき方向性について解説します。

1. 継続学習（Continual Learning）：進化し続けるデータとタスクへの適応

現実世界は常に変化し続けています。そのため、LLMは学習後も進化するデータやタスクに適応し続ける必要があります。継続学習は、まさにこの課題に取り組むための重要なアプローチです。既存の知識を保持しつつ、新しい情報を効率的に学習する能力は、ASIへの道のりにおいて不可欠です。

2. メモリベースRL（Memory-based RL）：経験から学習する知能

人間が過去の経験から学ぶように、RLエージェントも過去のインタラクションを記憶し、活用することで、より賢くなることができます。タスク固有のバッファから、より汎用的で再利用可能な知識へと進化させるメカニズムは、今後の重要な研究テーマとなるでしょう。

3. モデルベースRL（Model-based RL）：より賢い計画と行動のために

環境を正確にモデル化する能力は、RLエージェントが効率的に計画を立て、行動するために不可欠です。特に、言語エージェントの場合、環境の状態を正確に把握し、信頼できる報酬を生成するワールドモデルの構築が重要になります。

4. 効率的な推論学習（Efficient Reasoning Learning）：推論の深さを賢く調整

推論時間のスケーリングは、LLMの精度を向上させる一方で、過剰な思考や不適切な打ち切りといった問題も引き起こします。RLは、インスタンスの難易度と不確実性に基づいて、推論の深さを動的に調整するメカニズムを提供することができます。

5. 潜在空間推論学習（Latent Space Reasoning Learning）：より洗練された推論表現へ

思考連鎖（CoT）は、段階的な推論を促し、解釈可能性と精度を向上させます。潜在空間で推論を行うことで、より洗練された意味的な推論が可能になり、RLとの統合がスムーズになります。

6. 拡散モデル（Diffusion Models）：生成モデルへのRLの応用

拡散LLMは、優れたデコード効率と自己修正の可能性を備えた新しい言語生成パラダイムです。RLを拡散モデルに適用することで、生成されるテキストの品質と多様性を高めることが期待されます。

7. 科学的発見（Scientific Discovery）：新たな知識の創造を支援

RLは、LLMが科学的なタスクを実行する能力を向上させ、仮説の生成、実験計画、結果の解釈といったプロセスを支援することができます。特に、結果の検証を自動化するメカニズムが重要になります。

8. アーキテクチャ・アルゴリズム協調設計（Architecture-Algorithm Co-Design）：ハードウェアの限界を超えるために

RLパイプラインは、通常、Transformerアーキテクチャを前提としていますが、アーキテクチャ自体をRLの行動空間に組み込むことで、計算効率と性能を最適化することができます。これには、MoEレイヤーのルーティングポリシーや、ハードウェアを考慮した制約条件の組み込みなどが含まれます。

これらの未来の方向性は、RLがより適応性があり、効率的で、信頼性が高く、創造的になることを可能にし、人工超知能（ASI）の達成に貢献します。