Manzano解説: シンプルで強力な統一マルチモーダルモデル

紹介論文

今回紹介する論文はMANZANO: A Simple and Scalable Unified Multimodal Model with a Hybrid
Vision Tokenizerという論文です。

この論文を一言でまとめると

Manzanoは、画像理解と生成を両立するシンプルかつスケーラブルな統一モデルです。ハイブリッドビジョントークナイザーの導入により、タスク間の競合を軽減し、最先端の性能を実現します。この記事では、Manzanoのアーキテクチャ、トレーニング方法、およびその潜在的な応用について解説します。

Manzanoとは？統一マルチモーダルモデルの新たな潮流

AI技術の進化は目覚ましく、特に画像理解と生成の分野では、その進歩が著しいです。そんな中、Appleが発表したManzanoは、これらの2つの能力を両立させることを目指した、シンプルかつスケーラブルな統一マルチモーダルモデルとして、注目を集めています。従来のモデルとは何が違うのでしょうか？その核心に迫ります。

マルチモーダルモデルの新たな選択肢：Manzano

Manzanoは、画像の内容を理解し、それに基づいてテキストを生成するだけでなく、テキストによる指示に基づいて新しい画像を生成することも可能です。しかし、既存のマルチモーダルモデルでは、画像理解能力を高めようとすると画像生成能力が低下したり、その逆も然り、というパフォーマンスのトレードオフが課題でした。Manzanoは、この課題を克服するために、独自のハイブリッドビジョントークナイザーを導入し、効率的な学習戦略を採用しています。

既存モデルとの違い：デュアルトークナイザーからの脱却

多くの既存モデルでは、画像理解と画像生成のために、それぞれ異なるトークナイザーを使用する、いわゆるデュアルトークナイザーストラテジーが採用されています。しかし、Manzanoでは、単一の共有ビジョンエンコーダーを使用し、2つの軽量なアダプターを介して、画像からテキストへの理解とテキストから画像への生成を行います。これにより、モデルが異なる画像トークンタイプを処理する必要がなくなり、タスク間の競合を大幅に軽減できるのです。

画像理解と生成能力の両立：なぜ重要なのか？

画像理解と生成能力を両立させることは、AIの可能性を大きく広げる上で非常に重要です。これらの能力を統合することで、以下のような、より高度なタスクが可能になります。

• 複雑な世界推論：画像とテキストの両方から情報を抽出し、より複雑な状況を理解する。
• マルチモーダルな指示への追従：テキストと画像の組み合わせによる指示を理解し、適切な行動をとる。
• 反復的な視覚編集：テキストによる指示に基づいて、画像を段階的に編集する。

Manzanoの課題への取り組み：ハイブリッドトークナイザーと学習戦略

Manzanoは、以下の2つの主要な技術を用いて、画像理解と生成能力の両立という課題に取り組んでいます。

1. ハイブリッドビジョントークナイザー：画像特徴をLLM特徴空間に事前に調整することで、タスク間の競合を軽減。詳細は次のセクションで解説します。
2. 効率的な学習戦略：自己回帰型マルチモーダルLLMを、テキスト、画像理解、画像生成データの混合で共同トレーニングし、拡散画像デコーダーを利用して、生成された画像トークンからピクセルをレンダリング。

これらの技術により、Manzanoは、既存のモデルが抱えていたパフォーマンスのトレードオフを克服し、画像理解と生成の両方で高い性能を発揮することを目指しています。次のセクションでは、Manzanoの核心技術であるハイブリッドビジョントークナイザーについて、さらに詳しく解説します。

ハイブリッドビジョントークナイザーの秘密：Manzanoの核心技術

Manzanoの心臓部とも言えるのが、その独自技術であるハイブリッドビジョントークナイザーです。画像理解と生成、一見相反するこの2つのタスクを、どのようにして両立させているのでしょうか？その秘密は、連続埋め込みと離散トークンという、2つの異なる表現方法を組み合わせている点にあります。ここでは、このハイブリッドビジョントークナイザーの構成要素、動作原理、そして画像理解と生成の両立にどのように貢献しているのかを詳しく解説します。

ハイブリッドビジョントークナイザーの構成要素

Manzanoのハイブリッドビジョントークナイザーは、大きく分けて以下の3つの要素で構成されています。

1. ビジョントランスフォーマー（ViT）：画像の特徴抽出を行います。これは、画像認識分野で広く利用されているアーキテクチャで、画像を小さなパッチに分割し、それぞれのパッチに対してTransformerを適用することで、画像全体の構造を捉えます。
2. 連続アダプター：画像理解（Image-to-Text, I2T）タスクのために、ViTから抽出された特徴を連続的な埋め込み表現に変換します。具体的には、3×3の空間-チャネル（STC）レイヤーで空間情報を圧縮し、MLP（多層パーセプトロン）でLLM（大規模言語モデル）の特徴空間に投影します。
3. 離散アダプター：画像生成（Text-to-Image, T2I）タスクのために、ViTから抽出された特徴を離散的なトークンに変換します。こちらもSTCレイヤーで空間情報を圧縮した後、FSQ（Finite Scalar Quantization）という手法で特徴を量子化し、MLPでLLMの特徴空間に投影します。

連続埋め込みと離散トークンの組み合わせ

なぜManzanoは、連続埋め込みと離散トークンという、異なる2つの表現方法を組み合わせているのでしょうか？それぞれの表現方法には、以下のような特徴があります。

• 連続埋め込み：画像の細かな情報を保持するのに優れており、テキストによる説明文の生成（I2Tタスク）など、より詳細な視覚情報が必要なタスクに適しています。例えば、DocVQAやChartQAといった、テキストが豊富なタスクにおいて高い性能を発揮します。
• 離散トークン：画像をコードインデックスの集合として表現することで、LLMがテキストを扱うのと同じように、自己回帰的な次トークン予測を行うことを可能にします。これにより、画像生成（T2Iタスク）のパイプラインが簡素化され、モデルのスケーラビリティが向上します。
  自己回帰モデルとは、過去の情報を基に、次の情報を予測するモデルのことです。テキスト生成AIでは、過去の単語の並びから次の単語を予測することで、文章を作り出します。

Manzanoでは、これらの特徴を活かすため、I2Tタスクには連続埋め込みを、T2Iタスクには離散トークンを使用しています。これにより、それぞれのタスクに最適な表現方法を選択し、モデル全体の性能を最大化しているのです。

画像理解と生成の両立への貢献

ハイブリッドビジョントークナイザーの最大の利点は、画像理解と生成という、異なるタスクを、単一のモデルで両立できる点にあります。それぞれのタスクに特化したモデルを個別に学習する場合、モデルのサイズが大きくなりがちですが、Manzanoでは、ViTを共有することで、モデルのパラメータ数を抑え、効率的な学習を実現しています。

さらに、連続アダプターと離散アダプターは、同じViTから抽出された特徴を基に動作するため、連続トークンと離散トークンは、共通のセマンティックスペースに存在します。これにより、タスク間の競合を軽減し、モデル全体の性能を向上させています。

Manzanoのハイブリッドビジョントークナイザーは、画像理解と生成を両立させるための革新的な技術です。この技術により、Manzanoは、既存のマルチモーダルモデルが抱える課題を克服し、より高度なAIの実現に貢献することが期待されます。

Manzanoのアーキテクチャ：シンプルさとスケーラビリティの追求

Manzanoの真価は、そのアーキテクチャのシンプルさとスケーラビリティにあります。このセクションでは、Manzanoを構成する主要なコンポーネント、すなわちハイブリッドビジョントークナイザー、LLMデコーダー、そして拡散イメージデコーダーに焦点を当て、それぞれの役割と連携について詳しく解説します。これらの要素が組み合わさることで、Manzanoは画像理解と生成という二つの異なるタスクを効率的にこなし、かつモデルのスケーリングを容易にしているのです。

主要コンポーネントの紹介

Manzanoのアーキテクチャは、以下の3つの主要なコンポーネントから構成されます。これらのコンポーネントが有機的に連携することで、画像理解と生成の両立、そしてモデルのスケーラビリティを実現しています。

• ハイブリッドビジョントークナイザー：画像を連続的な表現（画像理解向け）と離散的な表現（画像生成向け）の両方に変換します。これについては前のセクションで詳しく解説しました。
• LLMデコーダー：テキストトークンや連続的な画像埋め込みを受け取り、自己回帰的に次のトークンを予測します。
• 拡散イメージデコーダー：LLMデコーダーによって予測された離散的な画像トークンから、最終的な画像を生成します。

ビジョンエンコーダ：ViTの採用

Manzanoは、画像の特徴を抽出するために、標準的なVision Transformer (ViT) をビジョンエンコーダとして採用しています。ViTは、画像をパッチに分割し、それぞれのパッチをTransformerに入力することで、画像全体の構造を捉えることができます。この選択は、ViTが画像認識分野で広く実績があり、かつ高い性能を発揮することが理由です。

LLMデコーダー：高レベルのセマンティクスを捉える

LLMデコーダーは、入力された情報（テキストまたは画像トークン）に基づいて、次に生成すべきトークンを予測する役割を担います。Manzanoでは、LLMデコーダーは高レベルのセマンティクス、つまり画像やテキストの意味を理解し、それを表現する能力に特化しています。これにより、Manzanoは単に画像を生成するだけでなく、その内容を理解し、テキストと関連付けた、より高度な処理が可能になります。

拡散イメージデコーダー：高品質な画像生成

Manzanoのアーキテクチャにおいて、拡散イメージデコーダーは非常に重要な役割を果たします。LLMデコーダーが生成した離散的な画像トークンを受け取り、それを高品質な画像へと変換します。Manzanoでは、DiT-Airアーキテクチャを採用することで、拡散イメージデコーダーの効率性を高めています。DiT-Airは、パラメータ共有戦略を用いてモデルサイズを削減しつつ、高い画像生成能力を維持します。

シンプルさとスケーラビリティ：Manzanoの設計思想

Manzanoのアーキテクチャは、シンプルであることを重視して設計されています。これにより、モデルのトレーニングが容易になり、また、異なるタスクへの適用も容易になります。さらに、Manzanoはスケーラビリティを考慮して設計されており、モデルのサイズを大きくすることで、より複雑なタスクにも対応できるようになります。例えば、LLMデコーダーや拡散イメージデコーダーのサイズを大きくすることで、画像生成の品質を向上させたり、より複雑な指示に従った編集が可能になります。

Manzanoのアーキテクチャは、画像理解と生成という異なるタスクを統合し、高い性能とスケーラビリティを実現するための巧妙な設計となっています。次のセクションでは、Manzanoの学習戦略について詳しく見ていきましょう。

学習戦略：理解と生成能力を最大限に引き出す秘訣

Manzanoが画像理解と画像生成という、一見相反する能力を高いレベルで両立させている背景には、綿密に設計された学習戦略が存在します。このセクションでは、Manzanoの学習戦略を構成する主要な要素、すなわちプレトレーニング、継続プレトレーニング、そして教師ありファインチューニングについて詳しく解説します。特に、使用するデータセットの選択と組み合わせ、タスク間の競合を軽減するための工夫に焦点を当て、その秘訣を解き明かしていきます。

学習段階の詳細：３つのステップ

Manzanoの学習は、以下の３つの段階を経て進められます。各段階で目的と使用するデータが異なり、モデルの能力を段階的に高めていく構成となっています。

1. プレトレーニング：テキストのみ、インターリーブされた画像-テキスト、画像からテキスト（IT）、テキストから画像（TI）データの大規模なコーパスを使用します。この段階では、モデルに基本的な言語理解能力と、画像とテキストの関連性を学習させることが目的です。
2. 継続プレトレーニング：高品質のITおよびTIデータを使用します。プレトレーニングで得られた知識をさらに洗練させ、より複雑な関係性を学習します。
3. 教師ありファインチューニング（SFT）：キュレーションされたテキスト、IT、TI命令データを使用します。この段階では、特定のタスクに対するモデルの性能を最適化し、指示に従う能力を高めます。

データセットの選択：質の高いデータの重要性

Manzanoの学習において、データセットの選択は非常に重要な要素です。各段階の目的に合わせて、様々なデータセットが組み合わされています。

• テキストのみのデータ：高品質なテキストデータを使用することで、Manzanoモデルの言語モデリング能力を維持しています。
• 理解データ：キャプション（ペアの画像とテキストの説明）とインターリーブされた画像テキストデータを使用します。具体的には、CC3M、CC12M、COYO、VeCap、社内ライセンスデータなど、23億もの画像テキストペアを組み合わせています。
• 生成データ：10億の社内テキスト-画像ペアで構成される画像生成事前トレーニングデータを使用します。さらに、高品質なライセンス画像のサブセットを選択し、より強力なMLLMで再キャプションすることで、データの質を高めています。

タスク間の競合を軽減するための工夫：ハイブリッドトークナイザーの活用

画像理解と画像生成は、モデルにとって異なる種類の情報処理を必要とするため、タスク間の競合が発生しやすいという課題があります。Manzanoでは、この課題を克服するために、ハイブリッド画像トークナイザーを活用しています。

ハイブリッド画像トークナイザーは、連続トークンと離散トークンを生成するように設計されており、これらはマルチモーダルLLMセマンティックスペースと事前に調整されています。具体的には、以下の手順で競合を軽減しています。

1. ビジョンエンコーダー（ViT）をCLIPを使用して事前にトレーニングします。
2. 事前トレーニング済みの小さなLLMデコーダー（300M）を、共有ビジョンエンコーダーに、2つの並列な連続アダプターと離散アダプターを介して接続します。
3. 各トレーニングサンプルについて、1つのアダプターをランダムに選択し、対応する埋め込みをLLMデコーダーにフィードします。LLMデコーダーは、次のトークン予測でトレーニングされます。

このプロセスにより、トークナイザーの理解能力が向上し、高レベルのセマンティック理解と詳細な空間的詳細の両方を包含します。同時に、ブランチも同じスペースに調整されます。

トレーニング後、小さなLLMデコーダーを破棄し、結果のハイブリッド画像トークナイザーを、統一されたLLMおよび画像デコーダーのビジョン入力モジュールとして保持します。

Manzanoの可能性：画像編集から未来の応用まで

Manzanoが示す可能性は、単なる画像理解や生成に留まりません。そのシンプルかつ強力なアーキテクチャは、様々な応用への扉を開き、未来のマルチモーダルAIのあり方を再定義する可能性を秘めています。

画像編集：創造性を解き放つ

Manzanoは、命令ガイド編集、スタイル転送、インペイント、アウトペイント、そして深度推定といった、多様な画像編集タスクに対応できます。これは、まるで熟練のデザイナーが、ユーザーの指示を理解し、それを高度な画像編集技術で実現するかのようです。例えば、「この写真の空を夕焼けに変えて」「この絵をゴッホ風にして」といった指示を、Manzanoは忠実に、そして創造的に実行します。

この背景にあるのは、LLMと拡散デコーダーの連携です。LLMは指示を理解し、画像のセマンティックコヒーレンス（意味の一貫性）を維持する役割を担います。一方、拡散デコーダーは、ピクセルレベルの精密な制御を行い、細部まで美しい画像を作り上げます。この2つのコンポーネントが組み合わさることで、Manzanoは単なる画像加工ツールを超え、創造的な表現の可能性を広げる強力なツールとなるのです。

テキストからの画像生成：想像力を形にする

Manzanoは、テキストプロンプトから高品質な画像を生成する能力も備えています。「緑豊かな森の中に佇む、古びたレンガ造りの家」といったテキストを入力するだけで、Manzanoはあなたの想像力を具現化した画像を生成します。LLMデコーダーのサイズを大きくすることで、指示への追従性、テキストのレンダリング、そして全体的な画像品質が向上します。さらに、画像デコーダーのスケーリングは、生成される画像の構造的な整合性を高め、よりリアルで自然な画像を生成することを可能にします。

未来のマルチモーダルAI：可能性は無限大

Manzanoの成功は、ハイブリッドトークナイザーと統一されたARバックボーンという設計思想が、マルチモーダルAIの可能性を大きく広げることを示唆しています。今後は、Manzanoの技術を基盤として、以下のような更なる発展が期待されます。

• 会話型編集：ユーザーとの対話を通じて、より洗練された画像編集を実現
• 推論：画像の内容を深く理解し、高度な推論に基づいた画像生成や編集を実現
• より多くの機能とモダリティとの統合：画像、テキストだけでなく、音声や動画など、様々な情報源を組み合わせた、より高度なマルチモーダルAIの実現

Manzanoは、AIが創造性を支援し、人間の想像力を拡張する未来を予感させます。統一されたアーキテクチャ、効率的な学習戦略、そして卓越した性能を備えたManzanoは、今後のマルチモーダルAI研究開発において、重要な役割を果たすことでしょう。