VGR解説：視覚で推論するAI

紹介論文
1. この論文を一言でまとめると
VGR論文解説：視覚情報を活用した推論の革新
VGRのアーキテクチャ：視覚とテキストの融合
VGR-SFT：視覚推論データセットの構築
実験結果：VGRの性能と既存モデルとの比較
まとめと今後の展望：VGRの進化の可能性

紹介論文

今回紹介する論文はVGR: Visual Grounded Reasoningという論文です。

https://arxiv.org/pdf/2506.11991v1.pdf

この論文を一言でまとめると

VGRは、視覚情報を活用した推論能力を持つ新しいマルチモーダル大規模言語モデル（MLLM）です。従来のMLLMが言語情報に偏っていたのに対し、VGRは画像内の関連領域を特定し、その情報を推論に活用することで、より高度な視覚推論を実現します。この論文では、VGRのアーキテクチャ、データセット構築、実験結果について解説します。

VGR論文解説：視覚情報を活用した推論の革新

VGR（Visual Grounded Reasoning）論文の概要について解説します。本論文は、既存のマルチモーダルChain-of-Thought（CoT）アプローチの限界を指摘し、VGRがどのように視覚情報を活用した推論を実現するかを紹介します。

既存のマルチモーダルCoTの限界

既存のマルチモーダルCoTアプローチは、主に言語空間での推論に依存しているため、言語バイアスが生じやすいという課題があります。また、その適用範囲が数学や科学といった特定の分野に限定されがちで、複雑な視覚情報を必要とする推論タスクには十分に対応できませんでした。

VGRの概要

VGRは、これらの課題を克服するために開発された、視覚情報を活用した新しいMLLM（Multimodal Large Language Model）です。VGRは、画像内の関連領域を特定し、その情報を推論に活用することで、より高度な視覚推論を実現します。従来のMLLMとは異なり、言語情報だけでなく、視覚的な詳細理解を可能にすることで、より人間らしい推論を目指しています。

VGRの視覚情報活用

VGRは、質問応答において、言語空間のみに頼らず、問題解決に役立つ可能性のある関連領域を検出します。そして、検出した領域の情報を再利用（replay）し、より正確な回答を生成します。この選択的特徴再生メカニズムにより、VGRは必要な視覚情報をオンデマンドで活用し、推論の精度と効率を向上させています。

VGRのアーキテクチャ：視覚とテキストの融合

VGR（Visual Grounded Reasoning）は、視覚情報を活用した推論能力を持つ革新的なマルチモーダル大規模言語モデル（MLLM）です。従来のMLLMが言語情報に偏っていたのに対し、VGRは画像内の関連領域を特定し、その情報を推論に活用することで、より高度な視覚推論を実現します。このセクションでは、VGRのアーキテクチャを詳細に解説し、視覚とテキストがどのように融合されているのかを明らかにします。

VGRの全体像：3つの主要コンポーネント

VGRのアーキテクチャは、大きく分けて以下の3つの主要なコンポーネントで構成されています。

視覚エンコーダ：入力された画像から視覚的な特徴を抽出します。
アダプタ：視覚エンコーダから得られた画像トークンを、言語モデルが処理できる言語空間に埋め込みます。
選択的特徴再生メカニズム：モデルが推論中に視覚的な根拠を必要とする場合に、関連する視覚情報を動的に取得し、推論プロセスを強化します。

これらのコンポーネントが連携することで、VGRは視覚情報とテキスト情報を効果的に融合し、より高度な推論能力を発揮します。

視覚エンコーダ：高解像度画像のエンコード

VGRでは、LLaVA（Large Language and Vision Assistant）で利用されているAnyResアプローチを応用し、高解像度画像のエンコードを実現しています。AnyResアプローチでは、まず入力画像を特定のサイズ（H × W）にリサイズします。ここで、HとWは特定の数値（p = 336）で割り切れる必要があります。次に、リサイズされた画像を、重複しない小さなパッチ（p × p）に分割します。これらのパッチは、視覚エンコーダによって個別に処理され、視覚的な特徴が抽出されます。

AnyResアプローチにより、VGRは入力画像の解像度を柔軟に変更することができ、様々なタスクやデータセットに対応できます。

アダプタ：視覚情報を言語空間へ

視覚エンコーダから抽出された画像トークンは、そのままでは言語モデルで処理できません。そこで、アダプタと呼ばれるモジュールを使って、画像トークンを言語モデルが理解できる言語空間に埋め込みます。アダプタは、通常、線形変換や非線形変換などの処理を行い、画像トークンと言語トークンの間のギャップを埋めます。

選択的特徴再生メカニズム：必要な視覚情報を動的に取得

VGRの最も特徴的な要素の一つが、選択的特徴再生メカニズムです。このメカニズムは、モデルが推論中に視覚的な根拠を必要とする場合に、関連する視覚情報を動的に取得し、推論プロセスを強化します。具体的には、モデルが推論を行う際に、まずreplay信号と呼ばれる特別な信号を生成します。このreplay信号は、モデルが視覚的な根拠を必要としていることを示します。replay信号を受け取ると、VGRは特徴プールと呼ばれる場所から、対応する視覚トークンを取得します。特徴プールは、高解像度クロップの視覚表現から構築されており、pooling戦略によって効率が向上しています。取得された視覚トークンは、推論プロセスに組み込まれ、モデルはより正確な回答を生成することができます。

Pooling戦略：計算効率の向上

Pooling戦略は、視覚特徴の次元削減と計算効率の向上に役立ちます。Pooling戦略では、特徴マップに対して、MaxPoolingやAveragePoolingなどの処理を適用し、特徴の数を減らします。VGRでは、2D poolingを使用して視覚特徴圧縮レイヤーを導入し、解像度と計算コストのバランスを取っています。具体的には、スナップショット圧縮には2 × 2 pooling、高解像度AnyResトークン圧縮には4 x 4 poolingを採用しています。

トークン効率：計算コストを抑えつつ高解像度情報を活用

VGRは、Baselineと比較して、画像ごとのトークン数を大幅に削減しています。例えば、Baselineが画像あたり2,880トークンを使用するのに対し、VGRは最大720トークンに抑えています。これにより、計算コストを抑えつつ、高解像度の視覚情報を活用することが可能になります。VGRは、必要な視覚情報を選択的に取得することで、効率的な推論を実現しているのです。

VGRのアーキテクチャは、視覚情報とテキスト情報を効果的に融合し、高解像度画像の情報を効率的に活用することで、より高度な視覚推論を実現しています。次のセクションでは、VGRの学習に用いられるVGR-SFTデータセットの構築プロセスについて解説します。

VGR-SFT：視覚推論データセットの構築

VGR-SFTの概要：視覚推論の新たな地平を拓く

VGR（Visual Grounded Reasoning）の真価を引き出すためには、高品質な学習データが不可欠です。そこで本論文では、VGRの学習のために構築された大規模な視覚推論データセット、VGR-SFTに焦点を当てて解説します。VGR-SFTは、混合視覚グラウンディングと言語演繹による推論データを含み、マルチモーダル推論における視覚領域の注意を明示的にモデル化する初の試みです。

VGR-SFTのSFTは、Supervised Fine-Tuning（教師ありファインチューニング）の略です。教師あり学習によって、モデルが望ましい挙動を学習できるように設計されています。

データセット構築の3段階プロセス：高品質データへの道

VGR-SFTの構築は、徹底的な品質管理のもと、以下の3段階のプロセスを経て行われます。

1. コールドスタート：既存のinstructionモデル（Qwen2.5-VL-72B [43]）を利用して、初期データを生成します。
2. リジェクトサンプリング：生成されたデータの品質を厳格に検証し、不適切なサンプルを排除します。フォーマット検証、正確性検証、視覚的グラウンディング検証を実施します。
3. アノテーションモデルの活用：リジェクトサンプリングを通過したデータを用いてアノテーションモデルを訓練し、データセットを効率的に拡張します。InternVL3-14B [56]でモデルを初期化し、コールドスタートデータとOpen-R1からのテキストデータを追加します。

コールドスタート：初期データの生成

コールドスタート段階では、Qwen2.5-VL-72B [43]というinstructionモデルを活用します。このモデルは、instructionへの追従能力、出力の多様性、物体検出と視覚的推論の性能が高いため、高品質な初期データ生成に貢献します。モデルには、JSON形式で検出結果をエンコードするように指示し、後の段階でのデータ処理を容易にします。

リジェクトサンプリング：品質の維持と向上

生成されたデータには、品質の低いサンプルが含まれる可能性があります。そこで、リジェクトサンプリング段階では、以下の3つの検証を行い、不適切なサンプルを排除します。

* フォーマット検証：回答の解析可能性を確保します。回答が指定されたフォーマット（例：Final Answer: …）に従っているかを確認します。
* 正確性検証：推論チェーンから導き出された回答の精度を評価します。正解データと比較し、回答が正しいかどうかを判断します。
* 視覚的グラウンディング検証：replay領域の正確性を検証します。画像内の関連領域が正しく特定されているかを確認します。

リジェクトサンプリングは、データセットの品質を維持するために重要なプロセスです。不適切なサンプルを排除することで、モデルの学習効率を高め、より正確な推論能力を獲得できます。

アノテーションモデルの活用：データセットのスケールアップ

リジェクトサンプリングを通過したデータを用いて、アノテーションモデルを訓練します。このモデルは、データセットを効率的に拡張するために活用されます。アノテーションモデルには、InternVL3-14B [56]を使用し、コールドスタートデータとOpen-R1からのテキストデータを追加することで、モデルの知識と推論能力を向上させます。

VGR-SFTの重要性：視覚推論の未来を拓く

VGR-SFTは、VGRの性能向上に不可欠な高品質な訓練データを提供し、モデルが視覚情報を活用した推論を学習するための基盤となります。このデータセットの構築により、AIはより高度な視覚推論能力を獲得し、現実世界の問題解決に貢献できる可能性が広がります。

VGR-SFTは、視覚推論の分野における重要な進歩です。このデータセットの登場により、AIは画像や動画などの視覚情報をより深く理解し、人間のように推論できるようになるでしょう。

実験結果：VGRの性能と既存モデルとの比較

VGRの性能を評価するために、様々な実験が行われました。本セクションでは、実験設定、評価指標、主要な結果、既存モデルとの比較、トークン効率について詳しく解説します。VGRが視覚情報を活用することで、いかに優れた性能を発揮するかを見ていきましょう。

実験設定

VGRは、LLaVA-NeXT [26]をベースラインとして構築されています。このモデルは、マルチモーダルな情報を理解するための柔軟かつ強力な基盤となります。視覚エンコーダにはCLIP-ViT-L/14@336 [35]が、LLMにはVicuna-v1.5 [5]シリーズ（7Bおよび13Bバージョン）が使用されています。学習は、事前学習と教師ありファインチューニングの2段階で行われます。事前学習にはLLaVA-558K [25]、ファインチューニングにはLLaVA-NeXT-770K [26]と、VGR独自に構築したVGR-SFTデータセットが用いられます。重要な点として、公平な比較のために、すべてのデータセットはLLaVA-Nextの元のSFTデータから派生しており、追加のデータは導入されていません。

評価指標

VGRの性能は、以下のベンチマークデータセットを用いて評価されます。

MMStar [4]：マルチモーダル推論能力を評価
ChartQA [29]：チャートに関する質問応答能力を評価
DocVQA [30]、TextVQA [41]、InfoQA [31]、AI2D [18]、RealWorldQA [9]、POPE [21]：様々な視覚推論タスクを評価

これらのデータセットにおいて、正解率やF1スコアなどの指標を用いて性能を測定します。

主要な結果

VGRは、以下の点で優れた性能を示しました。

高い性能：MMStarやChartQAなどのベンチマークにおいて、ベースラインモデルを大幅に上回る性能を達成しました。特に、高解像度画像を必要とするタスクにおいて、顕著な性能向上が見られました。
トークン効率：VGRは、トークン効率の面でも優れています。これは、計算コストを抑えつつ、高解像度の視覚情報を効果的に活用できることを意味します。

既存モデルとの比較

VGRは、以下の既存モデルと比較されました。

Qwen-VL-Chat [2]
Visual CoT [38]
DeepSeek-VL-7B [28]
LLaVA-v1.5-7B [22]
LLaVA-NeXT-7B [26]

結果として、VGRはほとんどのケースで最高の性能を発揮しました。特に、詳細な視覚情報の理解を必要とするベンチマークにおいて、その優位性が際立っています。

トークン効率の詳細

VGRは、元のLLaVA-NeXT [26]と比較して、[N]×視覚トークンでより優れたパフォーマンスを実現しています。この事実は、モデルを特定の領域に集中させる方が、より多くの視覚トークンを利用するよりも効果的であることを示唆しています。画像トークンの数を増やすほど、このパフォーマンスの差はさらに顕著になります。

Ablation Studies（構成要素の削減実験）

VGRの各構成要素の有効性を検証するために、Ablation Studiesが行われました。

データ形式の影響：グラウンディングボックスと推論手順の両方を出力することが、効果的なマルチモーダル理解に不可欠であることが示されました。グラウンディングの手がかり（”w/o Grounding”）を削除するか、推論プロセス（”w/o Reasoning”）を無効にすると、複数のベンチマークデータセットで一貫してパフォーマンスが低下しました。
補助検出損失の効果：補助検出損失（auxiliary detection loss）の有効性を検証しました。この損失関数は、空間的な位置合わせをより正確に行うために、直接的な回帰タスクとして機能します。トークン化されたボックスに対するクロスエントロピー損失は、量子化誤差や不連続な予測に苦労する可能性があるため、両方を組み合わせることで、連続的な回帰を活用して正確なローカリゼーションを促進します。
特徴再生の効果：特徴再生（feature replay）の有効性を評価しました。特徴再生を除外すると、モデルは関心領域を出力するだけで、対応する画像特徴をLLMの入力シーケンスに組み込まないため、パフォーマンスの向上が大幅に制限されることがわかりました。これは、境界領域の画像特徴を推論プロセスに統合することが、より正確な予測のために不可欠であることを示しています。

これらの実験結果から、VGRが視覚情報を効果的に活用し、既存のモデルを上回る性能を発揮することが確認されました。

undefined

まとめと今後の展望：VGRの進化の可能性

VGR（Visual Grounded Reasoning）は、視覚情報を活用した推論という新たな地平を切り開いた革新的なモデルです。本記事では、そのアーキテクチャ、データセット構築、そして実験結果を詳細に解説してきました。

VGRの貢献

視覚情報を活用した推論能力を持つ新しいマルチモーダル大規模言語モデル（MLLM）を提案。
選択的特徴再生メカニズムにより、モデルは重要な領域に焦点を当て、高解像度入力の微細な理解を促進。
視覚情報を高密度な推論タスクに統合する大規模な推論データセットVGR-SFTを開発。

これらの貢献は、今後のAI研究に大きな影響を与えることが期待されます。

今後の展望

VGRはまだ発展途上の技術であり、今後の研究によってさらなる進化が期待できます。以下に、今後の研究方向性を示唆します。

より強力な視覚エンコーダやLLMの活用：より高性能なコンポーネントを組み合わせることで、VGRの性能をさらに向上させることが可能です。例えば、最新のTransformerアーキテクチャや、より大規模な事前学習済みのLLMをVGRに組み込むことで、より複雑な視覚情報を理解し、より高度な推論を実現できる可能性があります。
強化学習との統合による、より汎用的で多様な推論プロセスの実現：強化学習を用いることで、VGRが様々なタスクや環境に適応できるようになることが期待されます。例えば、エージェントが環境とインタラクションしながら最適な行動を学習するように、VGRも試行錯誤を通じて視覚情報を活用した推論能力を向上させることができます。
VGRアーキテクチャを他のタスクやドメインへ応用：VGRの基本的な考え方は、画像キャプション生成、物体検出、セマンティックセグメンテーションなど、様々なタスクに応用できる可能性があります。また、医療画像診断や自動運転など、特定のドメインに特化したVGRを開発することで、より実用的なAIシステムを構築できるかもしれません。

課題

VGRは現在LLaVAアーキテクチャに限定されている点が課題です。

LLaVA以外のアーキテクチャへの適用や、より汎用的なアーキテクチャの設計が今後の課題となります。しかし、VGRの可能性は大きく、今後の研究開発によって、その真価が発揮されることが期待されます。

VGRは、AIが視覚情報を理解し、人間のように推論するための重要な一歩となるでしょう。