Mini-03で実現！深層思考AIの自作

紹介論文

今回紹介する論文はMini-o3: Scaling Up Reasoning Patterns and Interaction Turns for Visual
Searchという論文です。

この論文を一言でまとめると

画像検索AI「Mini-03」論文解説。試行錯誤を重ねる深層思考を、少ない学習データで実現する秘訣を公開。AI開発の新たな可能性を切り開きます。

はじめに：画像検索AIの新たな地平

画像検索AIの世界は、目覚ましい進化を遂げています。大規模なマルチモーダルモデルの登場により、画像という視覚情報に基づいて様々な問題を解決できるようになりました。しかし、現状の画像検索AIには、いくつかの課題が残されています。

画像検索AIの現状と課題

現在のオープンソースの画像検索AIは、まるで決められたレールの上を走るように、単調な推論パターンしか示すことができません。また、インタラクション（ユーザーとの対話）の回数にも制限があり、複雑な問題を解決するには不十分です。例えば、試行錯誤を繰り返しながら答えに近づくような、高度な探索能力が求められるタスクには対応しきれていません。

既存のモデルは、比較的簡単な画像検索タスクでは一定の成果を上げていますが、より複雑で困難なタスクにおいては、その能力を発揮できません。まるで、簡単な迷路は解けるけれど、複雑なダンジョンの攻略は難しい、そんなイメージです。

Mini-03が切り開く深層思考の可能性

そこで登場したのが、Mini-03です。Mini-03は、従来の画像検索AIとは一線を画し、深層思考を実現することで、より複雑な問題を解決することを目指しています。

Mini-03は、数十ステップにも及ぶ深いマルチターンの推論を実行し、困難な視覚検索タスクで最先端のパフォーマンスを達成します。まるで、熟練した探偵のように、様々な情報を組み合わせて、真相に迫るようなイメージです。

Mini-03は、複雑な推論パターンと深いインタラクションを可能にし、従来の画像検索AIでは不可能だった、より困難な問題への挑戦を可能にします。まるで、これまで立ち入ることができなかった、未知の領域への扉を開くようなものです。

さらに、Mini-03は、テスト時のインタラクションターン数をスケールする能力を備えています。つまり、推論中にインタラクションの回数を増やすことで、精度を向上させることができます。まるで、ゲームのレベルが上がるにつれて、より強力な武器を手に入れるようなものです。

Mini-03は、インタラクションの深さと推論パターンの多様性の両方を拡大することで、画像検索AIの可能性を大きく広げます。まるで、これまで見えなかった景色が、目の前に広がるような感動を味わえるでしょう。

この記事では、Mini-03がどのようにして深層思考を実現しているのか、そのアーキテクチャや技術的な詳細について解説していきます。Mini-03が切り開く、画像検索AIの新たな地平を一緒に見ていきましょう。

Mini-03：深層思考を実現する3つの要素

画像検索AI「Mini-03」は、まるで人間のように試行錯誤を重ね、複雑な問題を解決します。その深層思考を支えるのは、以下の3つの要素です。この記事では、Mini-03のアーキテクチャを分かりやすく解説し、深層思考を可能にする各要素の役割を紐解きます。

Mini-03のアーキテクチャ

Mini-03は、OpenAIの「03」モデルのような高度な画像認識と推論能力を再現するために、綿密に設計されたアーキテクチャを採用しています。その中心となるのは、以下の3つの主要コンポーネントです。

1. Visual Probe Dataset：探索的な推論を促す、挑戦的な視覚検索問題を集めたデータセット
2. 反復的なデータ収集パイプライン：多様な推論パターンを示す学習データ（コールドスタート軌跡）を効率的に収集する仕組み
3. Over-turn Masking戦略：強化学習における学習効率と、テスト時の汎化性能を両立させるための工夫

これらの要素が互いに連携することで、Mini-03はまるで人間のように、状況を理解し、仮説を立て、試行錯誤を繰り返しながら、複雑な視覚検索タスクを解決していくのです。

Visual Probe Dataset：試行錯誤を促すデータセット

Mini-03の学習に用いられるVisual Probe Datasetは、従来の画像検索データセットとは一線を画します。その最大の特徴は、その難易度の高さです。従来のデータセットでは、ターゲットが比較的容易に見つけられるものが多かったのに対し、Visual Probe Datasetでは、小規模なターゲット、多数の妨害オブジェクト、そして高解像度画像といった要素が組み合わさることで、試行錯誤を繰り返さなければ正解にたどり着けないような、非常に複雑な問題が数多く含まれています。

たとえば、広大な風景写真の中から、特定の種類の鳥を識別するタスクを考えてみましょう。従来のデータセットであれば、鳥が比較的大きく写っており、背景も単純なため、容易に識別できます。しかし、Visual Probe Datasetでは、鳥が非常に小さく、周囲には無数の木々や建物が写り込んでいるため、注意深く画像を探索し、詳細な情報を抽出する必要があります。このような難易度の高い問題に挑戦することで、Mini-03は、深層思考に必要な能力を磨き上げていくのです。

データ収集パイプライン：多様な思考パターンを学習

Mini-03が深層思考を習得するためには、多様な思考パターンを学習する必要があります。そのため、Mini-03では、反復的なデータ収集パイプラインと呼ばれる独自の仕組みを用いて、効率的に学習データを収集しています。

このパイプラインでは、まず、教師あり学習によって、モデルの初期状態をある程度、洗練させます。具体的には、人間が作成した少数のデモンストレーションデータを用いて、モデルに模倣学習を行わせます。このデモンストレーションデータには、深さ優先探索、自己反省、目標維持など、さまざまな思考パターンが含まれています。

次に、学習済みのモデルを用いて、新しい問題に対する思考と行動を生成させます。この際、モデルは、以前に学習したデモンストレーションデータを参考にしながら、試行錯誤を繰り返します。そして、最終的に正解にたどり着いた思考と行動の軌跡のみを、学習データとして採用します。このようなプロセスを繰り返すことで、Mini-03は、多様な思考パターンを効率的に学習していくのです。

Over-turn Masking：効率的な学習と汎化性能の両立

Mini-03の学習においては、学習効率と汎化性能のバランスを取ることが重要です。そのため、Mini-03では、Over-turn Maskingと呼ばれる独自の戦略を採用しています。

強化学習では、モデルが誤った行動を取った場合に、ペナルティを与えることで、正しい行動を学習させます。しかし、Mini-03のように、複雑な問題を扱う場合、途中で誤った方向に進んでしまうことは避けられません。そこで、Over-turn Maskingでは、あらかじめ設定されたターン数を超えてしまった思考の軌跡に対しては、ペナルティを与えないようにします。これにより、モデルは、過剰なペナルティを恐れることなく、自由に試行錯誤を繰り返すことができるようになります。

また、Over-turn Maskingは、テスト時の汎化性能向上にも貢献します。Mini-03は、学習時に設定されたターン数を超えて思考することができます。そのため、学習時には解決できなかった複雑な問題も、テスト時には、より多くの思考を重ねることで、解決できる可能性があるのです。

Over-turn Maskingは、学習効率を高めつつ、テスト時の汎化性能も向上させる、まさに一石二鳥の戦略なのです。

Visual Probe Dataset：試行錯誤を促すデータセット

深層思考AIを開発する上で、質の高いデータセットは欠かせません。Mini-03では、深層思考を学習させるために、特別なデータセット「Visual Probe Dataset」が開発されました。ここでは、Visual Probe Datasetの特徴、従来のデータセットとの違い、深層思考を学習させるための工夫について解説します。

Visual Probe Datasetの特徴

Visual Probe Datasetは、強化学習において、モデルが反省的かつ試行錯誤的な推論を行うことを促すために設計されたデータセットです。その特徴は以下の通りです。

• 多様な難易度: 簡単、普通、難しいの3段階で構成され、モデルの学習段階に合わせて難易度を調整できます。
• 豊富なデータ量: トレーニング用に4,000ペア、テスト用に500ペアの視覚的な質問と回答が用意されています。
• 現実的な画像: 高解像度画像を使用することで、現実世界での画像検索に近い環境で学習できます。
• 困難なタスク設計: 小さなターゲットや多数の妨害オブジェクトが含まれており、モデルが注意深く画像を探索し、ターゲットを特定する必要があります。

従来のデータセットとの違い

従来の画像検索データセット（V* Benchなど）は、ターゲットの特定が容易なものが多く、深層思考や試行錯誤を必要としません。Visual Probe Datasetは、あえてターゲットを特定しにくいように設計することで、モデルがより複雑な推論を行うように促します。具体的には、以下のような点が異なります。

• ターゲットが小さく、見つけにくい
• 多数の妨害オブジェクトが存在し、ターゲットの特定を困難にする
• 高解像度画像を使用し、モデルが詳細な情報を抽出する必要がある

深層思考を学習させるための工夫

Visual Probe Datasetは、深層思考を学習させるために、以下のような工夫が施されています。

• 段階的な思考を促す質問: 質問は、モデルが段階的に思考を進めるように設計されています。例えば、「〇〇はどこにあるか？」という質問の後に、「〇〇の色は何か？」という質問をすることで、モデルが前のステップで得た情報を活用するように促します。
• 試行錯誤を促す設計: 正解にたどり着くまでに複数のステップを必要とする問題が含まれており、モデルが試行錯誤を繰り返しながら学習するように促します。例えば、複数のオブジェクトが類似した外観を持つ場合、モデルはそれぞれのオブジェクトを試し、正解を見つける必要があります。
• 自己反省を促す質問: モデルが自身の推論過程を振り返り、改善点を見つけるように促す質問が含まれています。例えば、「なぜ〇〇を選んだのか？」という質問をすることで、モデルが自身の判断根拠を説明するように促します。

Visual Probe Datasetは、これらの特徴と工夫により、モデルが深層思考を効果的に学習し、より複雑な画像検索タスクに対応できるようになることを目指しています。

データ収集パイプライン：多様な思考パターンを学習

Mini-03の深層思考能力を支える重要な要素の一つが、データ収集パイプラインです。このパイプラインは、モデルが多様な思考パターンを学習し、複雑なタスクに対応できるよう設計されています。ここでは、その詳細な仕組みと、多様な思考パターンを獲得するための戦略について解説します。

データ収集パイプラインの詳細

Mini-03では、コールドスタートの教師ありファインチューニングのために、多様なマルチターンの軌跡を反復的に合成する効果的なパイプラインを開発しています。コールドスタートとは、事前知識がほとんどない状態から学習を開始することを意味します。このパイプラインは、以下のステップで構成されます。

1. まず、入力画像と質問、およびターンごとの観察、思考、アクションで構成される、代表的なデモンストレーションの小さなセットを作成します。
2. これらのデモンストレーションは、深さ優先探索、自己反省、目標維持など、さまざまな推論戦略をカバーします。
3. 次に、既存のVLM（Vision-Language Model）にこれらの動作を少数ショットで模倣させ、新しいクエリに対してターンごとに思考とアクションを生成させます。
4. このプロセスを、モデルがタスクを完了するか、インタラクション予算に達するまで繰り返します。
5. 最後に、正しい答えで終わる軌跡のみを保持します。

この反復的なプロセスを通じて、モデルは多様な思考パターンを効率的に学習することができます。

教師あり学習による初期化

データ収集パイプラインの最初のステップは、教師あり学習（SFT: Supervised Fine-Tuning）による初期化です。これは、モデルがタスクの基本的な構造と、期待される応答を理解するための重要なステップです。

Mini-03では、SFTのベースモデルとしてQwen2.5-VL-7B-Instructを使用しています。このモデルは、強力な事前学習済みVLMであり、多様なタスクに対応できる汎用的な能力を備えています。

マルチターンのエージェントインタラクションにおけるコンテキスト長の制約を考慮して、最大ピクセル予算を2Mに設定しています。これにより、モデルは与えられたコンテキスト内で、より多くのターンを実行できるようになります。

トレーニングデータとしては、約6,000のコールドスタートサンプルを使用し、3エポックトレーニングを行います。学習率は1 × 10^-5に設定し、グローバルバッチサイズは32です。

多様な思考パターンを獲得するための戦略

教師あり学習による初期化後、Mini-03は多様な思考パターンを獲得するための戦略を採用しています。具体的には、以下の点に重点を置いています。

• 思考において多様な推論パターンを奨励：モデルが常に同じ思考経路を辿るのではなく、様々な角度から問題を捉え、複数の解決策を検討するように促します。
• 試行錯誤的な探索を促進：モデルが積極的に様々な行動を試し、その結果から学習するように促します。これにより、モデルは未知の状況にも柔軟に対応できるようになります。

これらの戦略により、モデルは様々な推論戦略を学習し、より複雑なタスクを解決できるようになります。

Over-turn Masking：効率的な学習と汎化性能の両立

深層思考AI「Mini-03」の核となる要素の一つが、Over-turn Maskingです。この技術は、強化学習における学習効率と汎化性能という、相反する課題を同時に解決します。ここでは、Over-turn Maskingの仕組みを詳細に解説し、学習効率を高めつつ、テスト時のターン数増加に対応するための工夫を説明します。

Over-turn Maskingの仕組み

強化学習では、エージェントが環境とのインタラクションを通じて最適な行動を学習します。しかし、画像検索のような複雑なタスクでは、エージェントが目標を達成するまでに多くの試行錯誤が必要となる場合があります。特に、インタラクションのターン数に上限が設けられている場合、エージェントは早期に回答することを強いられ、十分な探索が行えなくなる可能性があります。

そこで、Mini-03では、Over-turn Maskingという手法を導入し、インタラクションターン数が上限を超えた場合（オーバターン）のペナルティを回避します。具体的には、以下の手順で処理を行います。

1. エージェントが生成した軌跡（行動の系列）に対して、報酬を計算します。
2. インタラクションターン数が上限を超えた軌跡に対して、完了マスクを0に設定します。
3. 完了マスクが0の軌跡のアドバンテージをマスクします。
4. マスクされたアドバンテージを用いて、ポリシーを更新します。

この結果、オーバターンした軌跡はポリシーの更新に影響を与えなくなり、エージェントは早期に回答することを避け、より深い探索を行うようになります。

学習効率を高めるための工夫

従来の強化学習では、オーバターンした軌跡に対して負の報酬を与えることで、早期に回答することを抑制していました。しかし、この方法では、オーバターンした軌跡が必ずしも誤っているとは限らないため、学習が不安定になるという問題がありました。

Over-turn Maskingでは、オーバターン応答に対する損失をマスクすることで、このような暗黙的なペナルティを排除します。これにより、学習が安定し、トレーニング中にターン数を増やすことが可能になります。

テスト時のターン数増加に対応するための工夫

Over-turn Maskingのもう一つの重要な利点は、テスト時にインタラクションターン数を柔軟に調整できることです。トレーニング時には、計算資源の制約などから、ターン数に上限を設ける必要があります。しかし、テスト時には、より多くのターン数を許容することで、より複雑なタスクを解決できる可能性があります。

Over-turn Maskingにより、エージェントはトレーニング時に限られたターン数で学習しつつ、テスト時にはより多くのターン数を利用できるようになります。論文内では、トレーニング時のターン数制限を6ターンに設定した場合でも、テスト時のターン数を数十ラウンドに拡張することで、精度が単調に向上することが示されています。これは、Over-turn Maskingが学習効率と汎化性能の両立に貢献していることを示しています。

実験結果：Mini-03の圧倒的な性能

Mini-03の真価は、実際の実験結果によって証明されます。ここでは、Mini-03の性能を定量的に評価し、既存手法との比較を通して、その優位性を明らかにします。特に、深層思考を可能にするアーキテクチャが、画像検索の精度にどのように貢献しているのかを詳細に見ていきましょう。

Mini-03の定量的な性能評価

Mini-03の性能を評価するために、以下の3つの代表的な画像検索タスクで実験を行いました。

• VisualProbe
• V* Bench
• HR-Bench

これらのデータセットは、それぞれ異なる特徴を持ち、画像検索AIの様々な側面を評価できます。Mini-03は、これらのデータセット全てにおいて、最先端のパフォーマンスを達成しました。

既存手法との比較

Mini-03の性能をより明確にするために、既存のオープンソースベースラインとの比較を行います。以下の表に、その結果を示します。

表から明らかなように、Mini-03は全てのデータセットにおいて、他のモデルを大幅に上回る性能を示しています。特に、VisualProbeデータセットでは、その差は顕著であり、Mini-03の深層思考能力が、複雑な画像検索タスクにおいて非常に有効であることを示唆しています。

深層思考の有効性を示す実験結果

Mini-03が高い性能を発揮する要因として、その深層思考能力が挙げられます。Mini-03は、より複雑で深い推論軌跡を維持できるため、従来のモデルでは困難だったタスクを解決できます。例えば、VisualProbe-Hardデータセットでの精度は、インタラクションターン数が増加するにつれて向上します。これは、Mini-03が試行錯誤を繰り返しながら、徐々に正解に近づいていく様子を示しています。

また、Mini-03は、Over-turn Maskingという独自の技術を採用することで、学習効率を高めつつ、テスト時のターン数増加に対応しています。これにより、トレーニング段階では限られたターン数しか学習していなくても、テスト段階ではより多くのターン数を活用し、より複雑な問題を解決できます。

これらの実験結果から、Mini-03は、深層思考と効率的な学習を両立することで、画像検索AIの新たな可能性を切り開いたと言えるでしょう。

まとめ：深層思考AI開発の未来

Mini-03は、画像検索AIに深層思考という新たな可能性をもたらしました。複雑な視覚情報を理解し、試行錯誤を繰り返すことで、これまで困難だったタスクを解決します。

Mini-03の登場は、AI開発の未来を指し示す羅針盤となるでしょう。今後は、より高度な推論能力を備えたAIモデルが、私たちの生活を豊かにしてくれると期待されます。