Seq2Seq徹底解説:ETTINで探るエンコーダとデコーダ

論文要約

X Facebook はてブ Pocket LINE コピー

2025.07.17

エンコーダ/デコーダモデルの比較実験：タスクごとの得意分野

論文では、ETTINスイートを用いて、様々なNLPタスクにおけるエンコーダモデルとデコーダモデルの性能を比較しています。その結果、エンコーダモデルはclassificationやretrievalタスクで、デコーダモデルはgenerativeタスクでそれぞれ優れていることが示されました。これは、それぞれのモデルアーキテクチャが持つ特性に起因すると考えられます。エンコーダモデルは、入力系列全体を理解し、特徴を抽出することに優れているため、分類や検索といったタスクに適しています。一方、デコーダモデルは、与えられた文脈に基づいて新しいテキストを生成することに優れているため、テキスト生成タスクに適しています。

また、論文では、デコーダモデルをエンコーダタスクに、エンコーダモデルをデコーダタスクに転用するcross-objective trainingの有効性についても検証しています。その結果、cross-objective trainingは、期待されるほどの効果が得られないことが示されました。これは、モデルアーキテクチャが特定のタスクに最適化されているため、単純な転用では性能が向上しないことを示唆しています。

既存研究との違い：より厳密な比較とコミュニティへの貢献

既存研究では、パラメータ数や学習データが異なるモデル同士を比較することが多かったため、モデルアーキテクチャの違いによる性能差を正確に評価することが困難でした。本研究では、ETTINスイートを用いることで、より厳密な比較を可能にしています。また、ModernBERTのオープンデータでの再現を初めて実現し、コミュニティへの貢献を目指している点も、本研究の重要な特徴です。

本研究の意義：モデル選択の指針と今後の研究の促進

本研究は、エンコーダモデルとデコーダモデルの特性を理解することで、タスクに応じた適切なモデル選択を支援します。また、cross-objective trainingの有効性に関する知見を提供し、モデルの転用に関する議論に貢献します。さらに、ETTINスイートを公開することで、今後の研究の発展を促進することが期待されます。本論文は、自然言語処理の研究者やエンジニアにとって、非常に有益な情報を提供するものであり、今後のLLM開発における新たな視点を提供するものと言えるでしょう。

本論文の公開により、エンコーダとデコーダモデルの比較研究がさらに進展し、よりタスクに適したモデルの開発や、モデルの転用技術の向上が期待されます。

ETTINスイートの実験設定：データセット、アーキテクチャ、学習レシピ

このセクションでは、ETTINスイートの実験設定について詳しく解説します。ETTINスイートは、エンコーダとデコーダの性能を公平に比較するために、データセット、アーキテクチャ、学習レシピを厳密に管理して構築されています。ここでは、ModernBERTの再現、データセットの選定、モデル構造、学習方法について具体的に説明します。

ModernBERTの再現

ETTINスイートでは、エンコーダモデルの強力なベースラインとして、ModernBERTの再現を目指しました。ModernBERTは高い性能を持つエンコーダモデルですが、学習データが公開されていないため、オープンデータセットを用いて学習レシピを再現する必要があります。

ModernBERTの再現にあたり、以下の点を重視しました。

• 学習データの選定: ModernBERTの学習データに近い特性を持つオープンデータセットを選定する。
• 学習パラメータの調整: ModernBERTの論文に記載されている学習パラメータを参考に、最適なパラメータを探索する。
• 評価方法の統一: ModernBERTと同じ評価方法を用いて、再現度を評価する。

データセットの選定

ETTINスイートの学習には、decoder-onlyモデルの学習によく用いられるOLMoのデータセットと、Dolma v1.7のキュレーションされたソースを組み合わせました。具体的には、DCLM（Li et al., 2024）とDolma v1.7（Soldaini et al., 2024）を組み合わせることで、多様なテキストデータを効率的に学習できると考えました。

また、OLMo 2の論文（OLMo et al., 2025）で記述されている、フィルタリングされたDCLMと高品質のソースをdecay phaseで使用するアプローチを採用しました。これにより、学習の後半段階でより高品質なデータに集中することで、モデルの性能向上を目指しました。

さらに、学習データだけでなく、モデルが見たデータのバッチ順序も提供することで、将来の研究者がモデルの学習プロセスを詳細に分析できるようにしました。これは、モデルの挙動を理解し、改善するための重要な情報となります。

モデル構造

ETTINスイートでは、ModernBERTのアーキテクチャを参考に、様々なサイズのモデルを構築しました。ModernBERTには2つのサイズしかないため、より小さいモデルと大きいモデルのために新しい形状を開発する必要がありました。そこで、MobileLLM（Liu et al., 2024）のデザインに従い、深くて薄いモデルを目指しました。これは、パラメータ効率の高いモデルを構築するための一般的なアプローチです。

1Bモデルについては、レイヤー数を同じに保ちつつ、モデルをよりワイドにしました。これにより、モデルの表現能力を高めることを目指しました。モデルのパラメータサイズはほぼ2倍ずつ増加させ、一般的なエンコーダサイズに合わせました（例：17M、32M、68M、150M、400M、1B）。

各モデルの詳細な構造は、論文のTable 1に記載されています。モデルのサイズと性能の関係を分析することで、最適なモデルサイズを決定するための知見が得られます。

学習レシピ

ETTINスイートでは、encoder-onlyモデルとdecoder-onlyモデルの両方に対して、オープンデータモデルで記述された一般的なプロセスを使用しました。ただし、encoderアーキテクチャ（マスキング比率など）に合わせていくつかの変更を加えています。具体的には、以下の3つの一般的なフェーズを使用しました。

• Base Pre-training: ウォームアップと安定化の段階で、多様なデータソースを用いて一般的な言語能力を学習します。
• Mid-Training/Context Extension: データセットの品質を向上させ、RoPE（Su et al., 2024）を調整して長文に対応します。
• Decay: より高品質なデータに集中し、学習率を徐々に低下させます。

trapezoidal learning rate schedulerを使用し、一般的なハイパーパラメータを付録Cに、サイズ依存のハイパーパラメータをTable 1に示しました。encoderモデルとdecoderモデルの唯一の違いは、目的関数（encoderはmasked language modeling (MLM)、decoderはcausal language modeling (CLM)）とattentionパターン（decoderはcausal、encoderはbidirectional）でした。

ETTINスイートの実験設定は、エンコーダとデコーダの性能を公平に比較するための厳密な管理に基づいて構築されています。この詳細な設定により、両モデルの特性を理解し、タスクに応じた適切なモデル選択を支援するための貴重な知見が得られました。

実験結果の分析：エンコーダvsデコーダ、クロス目的学習、ジェンダーバイアス

本セクションでは、論文「Seq vs Seq: An Open Suite of Paired Encoders and Decoders」の実験結果から得られた重要な洞察を解説します。ETTINスイートを用いた詳細な分析を通じて、エンコーダとデコーダの性能比較、クロス目的学習の効果、ジェンダーバイアスに関するケーススタディについて考察し、今後の研究の方向性を示唆します。

エンコーダとデコーダの性能比較：得意分野の違い

実験結果は、エンコーダとデコーダがそれぞれ異なるタスクで優れた性能を発揮することを示しています。具体的には、エンコーダはclassification（分類）とretrieval（検索）タスク、デコーダはgenerative（生成）タスクにおいて高い性能を発揮します。この違いは、モデルのアーキテクチャと学習方法に起因すると考えられます。

たとえば、MNLI（自然言語推論）のclassificationタスクでは、エンコーダモデルがデコーダモデルを明確に上回る結果となりました。一方、テキスト生成タスクにおいては、デコーダモデルがより自然で流暢な文章を生成する傾向が見られました。

クロス目的学習の効果：転用の難しさ

近年、デコーダモデルをclassificationタスクに、エンコーダモデルをテキスト生成タスクに転用するクロス目的学習が注目されています。しかし、本研究の結果は、クロス目的学習が期待されるほどの効果をもたらさないことを示唆しています。

例えば、デコーダモデルをMLM（masked language modeling）で継続的に学習させ、classificationタスクに転用した場合、元のエンコーダモデルの性能を上回ることはできませんでした。この結果は、単に学習目的を反転させるだけでは、モデルのアーキテクチャに起因する性能差を埋められないことを示唆しています。

ジェンダーバイアスに関するケーススタディ：表現の偏り

ETTINスイートのオープンな事前学習データを利用して、学習目的がジェンダー表現に与える影響を分析しました。WinoGenderベンチマーク（Rudinger et al., 2018）の

まとめと今後の展望：Seq2Seqモデルの可能性を拓く

本研究では、ETTINスイートを用いてエンコーダモデルとデコーダモデルの性能を詳細に比較しました。その結果、MLM（Masked Language Modeling）とCLM（Causal Language Modeling）という学習目的がそれぞれ異なる強みを持ち、MLMは分類や検索タスク、CLMは生成タスクに適していることが改めて確認されました。また、単に逆の目的で事前学習を継続するだけでは、アーキテクチャの違いによる性能差を埋められないことも示されました。

今後の研究への貢献

ETTINスイートは、モデルの学習プロセスやバイアスを分析するための貴重なリソースとして、今後の研究に大きく貢献することが期待されます。特に、本研究で明らかになったエンコーダモデルとデコーダモデルの使い分けに関する知見は、タスクに応じた最適なモデル選択を支援し、より高度な自然言語処理技術の開発を加速させるでしょう。

読者へのメッセージ

Seq2Seqモデルは、自然言語処理において不可欠な存在であり、その可能性は今後も広がっていくでしょう。本記事で紹介したETTINスイートや研究結果を参考に、読者の皆様がそれぞれのタスクに最適なモデルを選択し、自然言語処理のフロンティアを切り拓いていくことを願っています。より詳しい情報や実験の詳細については、論文やGitHubリポジトリ（https://github.com/JHU-CLSP/ettin-encoder-vs-decoder）をご覧ください。