TATTOO: 表形式データ推論を革新するツール強化型PRM

紹介論文

今回紹介する論文はTaTToo: Tool-Grounded Thinking PRM for Test-Time Scaling in Tabular
Reasoningという論文です。

この論文を一言でまとめると

TATTOOは、表形式データ推論におけるテスト時のスケーリングを改善するツール強化型PRMフレームワークです。既存のPRMの課題を克服し、高精度な報酬シグナルを提供することで、下流のLRMの性能を大幅に向上させます。本記事では、TATTOOのアーキテクチャ、データキュレーション、実験結果を詳細に解説し、その革新性と実用性を示します。

はじめに：表形式データ推論の重要性と課題

近年、AI技術、特に大規模言語モデル（LLM）の進化が目覚ましいですが、その中でも表形式データ推論は、ビジネスや科学研究など、様々な分野で重要な役割を担っています。

表形式データとは、データベースやスプレッドシートのように、行と列で構成されたデータのことです。この形式で整理されたデータから、必要な情報を抽出したり、複雑な関係性を理解したりする能力が、表形式データ推論です。例えば、以下のような応用例が挙げられます。

* **数値解析**：財務諸表から企業の収益性を分析したり、統計データから傾向を予測したりする
* **事実確認**：ニュース記事に含まれる情報を、公開されているデータと照合して真偽を確認する
* **質問応答**：顧客からの問い合わせに対して、製品データベースから適切な回答を検索する
* **データ分析**：売上データから売れ筋商品を特定したり、顧客属性と購買行動の関係を分析したりする

これらの例からもわかるように、表形式データ推論は、意思決定を支援し、業務効率を向上させる上で不可欠な技術です。

しかし、従来のテキストベースの推論とは異なり、表形式データ推論には特有の難しさがあります。テーブルは、暗黙的なリレーショナル構造を持つため、LLMは以下の課題に直面します。

* **Table Retrieval**：質問に関連するテーブルのどの部分を抽出するかの判断
* **Schema Interaction**：行や列の意味を理解し、それらの関係性を把握する
* **長距離依存性**：離れた場所にあるデータ同士の関係性を考慮する

これらの課題を克服するために、Process Reward Models (PRMs)というフレームワークが注目されています。PRMは、LLMの推論過程をステップごとに評価し、報酬を与えることで、より正確な推論を促すものです。しかし、既存のPRMは、表形式データに特有の課題に対応できていないという問題があります。

例えば、既存のPRMでは、LLMが質問に関連するテーブルのどの部分を抽出したかを判断することができません。また、テーブルのスキーマ（行や列の意味）を正しく理解しているかどうかも確認できません。さらに、テーブル内の離れた場所にあるデータ同士の関係性を考慮できているかどうかも判断できません。

これらの限界により、既存のPRMは、表形式データ推論において十分な性能を発揮することができません。そこで、本記事では、表形式データ推論に特化した新しいPRMフレームワークであるTATTOOを紹介します。TATTOOは、ツールを活用することで、より正確な報酬シグナルを提供し、LLMの表形式データ推論能力を大幅に向上させることを目指します。

TATTOO：ツール強化型PRMフレームワーク

表形式データ推論の分野に革新をもたらす、新たなProcess Reward Model（PRM）フレームワーク「TATTOO」が登場しました。従来のPRMが抱える課題を克服し、より高精度な報酬シグナルを提供することで、大規模言語モデル（LLM）の性能を飛躍的に向上させる可能性を秘めています。

TATTOOのアーキテクチャ：テーブル操作を明示的に考慮

従来のPRMは、テキストデータに対する推論に重点を置いており、表形式データ特有の操作（テーブルからの情報抽出やスキーマの解釈など）を十分に考慮できていませんでした。その結果、LLMがテーブルデータを正しく理解し、推論を進める上でのボトルネックとなっていました。

TATTOOは、この課題を解決するために、テーブル操作を明示的に考慮したアーキテクチャを採用しています。具体的には、以下の2つの主要な要素を取り入れています。

* **テーブル認識型報酬（Table-Aware Reward）：** LLMの推論プロセスに合わせて、報酬を2つの要素に分解します。1つは、モデルの内部推論の正確さを評価する「内部推論報酬」。もう1つは、テーブル操作の正確さを評価する「テーブル操作報酬」です。これにより、テーブル操作と内部推論を区別し、それぞれに適切な報酬を与えることができます。
* **ツール統合（Tool Integration）：** テーブル操作の検証に、外部のテーブル指向ツールを組み込みます。これにより、従来のPRMでは難しかった、テーブルルックアップや計算の正確性を検証することが可能になります。

TATTOOの主要コンポーネント：データキュレーションと二段階学習

TATTOOの性能を最大限に引き出すためには、高品質な学習データと効果的な学習戦略が不可欠です。TATTOOでは、以下の2つの主要なコンポーネントを通じて、これらの要件を満たしています。

* **スケーラブルなデータキュレーションパイプライン：** ツールベースの実行と専門家の検証を統合し、60,000を超える高品質なステップレベルのアノテーションを自動的に構築するパイプラインを構築しました。これにより、多様なテーブルデータと推論パターンを学習できます。
* **二段階学習パラダイム：**
1. **教師ありファインチューニング（SFT）：** まず、キュレーションされたデータセットを用いて、TATTOOを教師あり学習でファインチューニングします。これにより、ツール使用の推論パターンを捉え、テーブル操作と内部推論を区別することを学習します。
2. **強化学習（RL）：** 次に、強化学習を用いて、TATTOOの性能をさらに向上させます。具体的には、ツールに基づいた報酬形成を行い、テーブルベースの検証にモデルを整合させます。これにより、より正確で信頼性の高い推論が可能になります。

TATTOOは、これらの革新的なアーキテクチャとコンポーネントを通じて、表形式データ推論におけるLLMの可能性を最大限に引き出すことを目指しています。次のセクションでは、TATTOOのデータキュレーションパイプラインについて詳しく解説します。

TATTOOのデータキュレーションパイプライン

TATTOOの学習を成功させるには、高品質なデータセットが不可欠です。従来のPRMが抱える課題を克服し、表形式データ推論に特化した効果的な学習を実現するため、TATTOOでは、ツールベースの実行と専門家の検証を統合したデータキュレーションパイプラインを構築しました。本セクションでは、このパイプラインの詳細を解説します。

データキュレーションパイプラインの概要

TATTOOのデータキュレーションパイプラインは、現実世界のシナリオをシミュレートし、PRMのツール利用とステップレベルの検証を大規模に行うために設計されています。具体的には、以下の3つの主要な段階で構成されています。

1. 推論軌跡生成: まず、DeepSeek-R1やClaude-Opus-4.1といった高性能なエキスパートLRMを用いて、TableInstruct、HybridQA、ToTTo、WikiTQなど、多様なベンチマークに含まれる表形式データに関する質問に対する応答を収集します。これにより、正解だけでなく、誤った推論パターンも網羅的に収集することが可能です。
2. 検証合成と報酬割り当て: 次に、各候補応答について、ステップレベルの検証根拠を提供し、PRMのステップ報酬ラベルを割り当てます。これは、テーブル検索ステップ、スキーマインタラクションステップ、内部思考ステップのそれぞれに対して、詳細なアノテーションを付与するプロセスです。特に、LLM-as-a-judgeを活用して、サブテーブルの関連性を評価し、テーブル報酬を割り当てることで、テーブルデータの解釈における精度を高めています。
3. ツール使用合成: 最後に、収集した検証根拠を、ツール呼び出し、実行結果、ステップレベルのフィードバックで補強します。モデルの内部推論が計算やテーブルルックアップを伴う場合、対応するツール呼び出しとその実行結果で手動推論を置き換えます。これにより、PRMがより正確な検証を行うための情報を提供します。具体的には、算術演算や集計演算にはPythonやSQLのコードスニペットを、特定の行、列、セルの抽出にはDataFrame APIやCSV/Excelリーダーなどのテーブルルックアップツールを使用します。

60kを超える高品質なアノテーション

上記のプロセスを通じて、TATTOOでは60kを超える高品質な学習インスタンスを生成することに成功しました。これらのインスタンスは、完全な検証根拠とステップレベルの報酬を含み、PRMが堅牢なステップレベルの検証を学習するために不可欠な情報を提供します。

このデータキュレーションパイプラインの設計により、TATTOOはテーブルデータの特性を考慮し、ツールベースの検証を統合することで、より効果的な学習を実現しています。次のセクションでは、このデータセットを用いてTATTOOを学習させるための二段階学習パラダイムについて詳しく解説します。

TATTOOの二段階学習パラダイム

TATTOOの真価は、その学習方法にもあります。単なるモデルの改良に留まらず、表形式データ推論における本質的な課題解決を目指し、綿密に設計された二段階学習パラダイムを採用している点がTATTOOの大きな特徴です。

このセクションでは、TATTOOが採用する二段階学習パラダイム、すなわち、教師ありファインチューニング（SFT）によるコールドスタートと、その後の強化学習（RL）によるツールに基づいた報酬形成について、その利点と実装の詳細を詳しく解説します。

1. 教師ありファインチューニング (SFT)によるコールドスタート

最初の段階では、データキュレーションパイプラインで構築された高品質なデータセットを用いて、PRMを教師ありファインチューニングします。このSFTの目的は、ツール使用に関する推論パターンを効果的に学習させることです。具体的には、検証の根拠とそれに対応するステップレベルの報酬を出力するようにPRMを訓練します。

SFTでは、PRMは以下の能力を獲得します。

• 正確なサブテーブル領域の特定: クエリに関連するテーブルのどの部分に注目すべきかを学習します。
• 動的なテーブルプレフィックスの組み込み: 取得したテーブルプレフィックスをスキーマインタラクションステップに動的に組み込む方法を学習します。これにより、モデルは文脈を適切に理解し、関連性の高い情報に基づいて推論を進めることができます。

SFTは、モデルが効果的に学習を開始するための強固な基盤を提供します。しかし、SFTだけでは、表形式データ推論の複雑さを完全に捉えることはできません。

2. 強化学習 (RL)によるツールに基づいた報酬形成

SFTの後、TATTOOは強化学習の段階に入ります。ここでは、エージェントRLの最新の進歩に着想を得て、ポリシー最適化を適用し、PRMの検証プロセスを効果的なツール利用とより緊密に整合させます。具体的には、ツールに基づいた密な監督シグナルを提供することにより、修正されたGRPO (Generalized Policy Optimization) を使用してReを最適化します。

RL段階では、モデルは以下の能力を強化します。

• 効果的なツール操作: より正確な検証のために、コードスニペットやテーブルルックアップツールをどのように使用するかを学習します。
• 忠実な推論: ツール使用とテーブルベースの検証を組み合わせ、より正確で信頼性の高い推論を可能にします。

3. 二段階学習パラダイムの利点

TATTOOが二段階学習パラダイムを採用することには、以下の利点があります。

• 堅牢な初期化: SFTは、モデルが効果的に学習を開始するための強固な基盤を提供します。
• 推論とツール使用の強化: RL最適化は、SFTだけでは捉えきれない、PRMの推論とツール使用の有効性をさらに高めます。
• テーブルベースの検証との整合: RLは、ツールに基づいた報酬形成を通じて、モデルをテーブルベースの検証に整合させ、より正確で信頼性の高い結果をもたらします。

この二段階学習パラダイムにより、TATTOOは表形式データ推論において優れた性能を発揮することができます。SFTとRLを組み合わせることで、モデルはツール使用に関する推論パターンを効果的に捉え、テーブルベースの検証に整合し、より正確で信頼性の高い結果をもたらすことができます。

次章では、TATTOOの有効性を検証するために行われた実験結果について詳しく見ていきます。

実験結果：TATTOOの性能と汎用性

TATTOOの有効性を評価するため、数値推論、事実確認、データ分析を含む5つの表形式データ推論ベンチマークで実験を行いました。その結果、TATTOOは下流のポリシーLRMを大幅に改善し、既存のPRMベースラインを凌駕し、多様なTTS戦略にわたって強力な汎用性を示すことがわかりました。本セクションでは、これらの実験結果を詳細に分析します。

評価に用いたベンチマーク

TATTOOの性能を測るために、以下の代表的かつ挑戦的なベンチマークを使用しました。

* **TableBench (TB):** 数値推論(NR)、事実確認(FC)、データ分析(DA)タスクを網羅する、包括的なテーブル推論ベンチマークです(Wu et al., 2024)。金融、スポーツ、政治、科学など、多様な分野の3,681個のユニークなテーブルで構成されています。各テーブルは平均16.7行、6.7列を含み、テーブルセルの65%以上が数値であることから、特に数値推論に重点を置いています。各質問は平均6.3ステップの推論を必要とするため、従来のTableQAコーパスよりも大幅に複雑です。
* **WTQ:** Wikipediaテーブルに対する複雑な質問応答のベンチマークです(Pasupat and Liang, 2015b)。
* **MMQA:** テーブル検索、マルチホップおよびマルチテーブルQA、テキストからSQLへの生成をカバーするマルチテーブル理解ベンチマークです(Wu et al., 2025a)。

主要な実験結果

Table 2に示すように、TATTOOは、使用パラメータが少ないにも関わらず、一貫して優れた性能を発揮しました。特に、TableBenchのデータ分析(TB-DA)タスクでは、N=4で27.7%からN=32で34.3%へと精度が向上し、全てのNレベルで最高の精度を達成しています。

さらに、既存のPRMの多くが特定の設定以上の応答閾値を超えると性能ボトルネックに悩まされるのに対し、TATTOOは応答グループのサイズが増加するにつれて効果的にスケールし続け、一貫したゲインをもたらします。たとえば、TB-NRでは、Qwen2.5-Math-PRM-72BはN=16 (74.9% → 75.3%) 以降は飽和状態になりますが、TATTOOはN=8で74.2%からN=32で78.1%へと改善を続けます。

多様なTTS戦略における汎用性

Best-of-Nを超えて、TATTOOはビームサーチとDiverse Verifier Tree Search (DVTS)という2つの追加のTTS戦略の下でも評価されました。図5に示すように、各TTS戦略の下で、TATTOOは応答数Nが増加するにつれて着実に改善を示し、他のベースラインPRMを上回りました。これらの結果は、多様なTTS戦略にわたるTATTOOの強力な汎用性を強調しています。

詳細な分析

二段階トレーニングパラダイムの役割を調べるために、最初のSFT段階でのみトレーニングされたバリアントであるTATTOO (SFT only)と比較しました。Table 3に示すように、Best-of-N評価では、2番目の段階のRLポリシー最適化により、SFTのみの初期化よりも一貫してパフォーマンスが向上しました。特に、3つすべてのタスクの平均精度は、RLトレーニング後、72.3% (SFTのみ) から78.5%に向上し、合計で10.2%のゲインが得られました。これは、SFTからのブートストラップが堅牢な初期化を提供し、RL最適化が検証プロセス中のPRMの推論とツール使用の有効性をさらに高めることを示しています。

次に、ステップごとの報酬シグナル設計の各監督コンポーネントの効果を分析しました。ツール接地項を削除すると最大の低下が生じ、RLトレーニング中に効果的なツール使用を促進する上で重要な役割を強調しています。また、信頼性キャリブレーションを除外すると、平均して1.6%パフォーマンスが低下し、報酬シグナルを安定させる上での相補的な効果が示されました。

結論：TATTOOの革新性と今後の展望

TATTOOは、表形式データ推論の世界に新たな風を吹き込む、革新的なフレームワークです。既存のPRMが抱える課題を克服し、ツールを活用することで、より正確な推論を可能にしました。数値推論、事実確認、データ分析といった多様なタスクで、TATTOOはその実力を証明しています。今後は、TATTOOをさらに発展させ、より複雑な問題や、画像やグラフを含む様々なデータ形式に対応させていくことが期待されます。

今後の展望

• 性能向上: より洗練された学習アルゴリズムや、大規模データセットの活用により、TATTOOの推論精度をさらに向上させることができます。
• 適用範囲の拡大: 現在のTATTOOはテキストとテーブルデータに限定されていますが、今後は画像、グラフ、音声など、多様なデータ形式を扱えるように拡張することで、より幅広い分野での応用が期待できます。
• 倫理的な配慮: 自動化された検証プロセスは、ツールやトレーニングデータに内在するバイアスを増幅させる可能性があります。そのため、検証者の信頼性を評価し、公平性を確保するためのメカニズムを開発することが重要です。

TATTOOの研究は、表形式データ推論における自動化と効率化を促進する上で重要な一歩となります。今後の研究開発を通じて、その可能性を最大限に引き出し、より多くの分野で活用されることを期待しています。