MIRIX：LLMエージェントに記憶を！

紹介論文
1. この論文を一言でまとめると
LLMエージェントに「記憶」は必要？MIRIXが挑む課題
MIRIXの構造：6つの記憶とマルチエージェント連携
1. MIRIXの6つの記憶コンポーネント：役割と特徴
2. マルチエージェントフレームワーク：記憶を連携させる「オーケストラ」
MIRIXの頭脳：状況に応じて記憶を呼び出す「アクティブ検索」
実験結果：MIRIXは本当に賢い？既存システムとの比較
MIRIXの未来：パーソナルアシスタントから記憶のマーケットプレイスまで

紹介論文

今回紹介する論文はMIRIX: Multi-Agent Memory System for LLM-Based Agentsという論文です。

https://arxiv.org/pdf/2507.07957v1.pdf

この論文を一言でまとめると

LLMエージェントの記憶システム「MIRIX」を解説。6つの記憶コンポーネントとマルチエージェント連携により、長期的な情報保持・活用を実現。ScreenshotVQA、LOCOMOでの実験結果から、その高い性能を検証します。パーソナルアシスタントやウェアラブルデバイスへの応用、記憶のマーケットプレイス構想など、MIRIXがもたらす未来を紹介します。

LLMエージェントに「記憶」は必要？MIRIXが挑む課題

AI技術、特にLLM（大規模言語モデル）を活用したエージェントは、目覚ましい進化を遂げています。しかし、高度なタスクを実行できるようになった一方で、人間のように過去の経験を活かす能力、つまり「記憶」については、まだ十分な研究が進んでいません。

LLMエージェントとは、大規模言語モデルを基盤として、特定のタスクを実行するように設計されたAIシステムのことです。

### なぜLLMエージェントに「記憶」が必要なのか？

人間は過去の経験を記憶し、それを基に判断したり行動したりします。例えば、過去の会話の内容を覚えていたり、以前に経験した失敗から学んだりすることで、より良いコミュニケーションや問題解決が可能になります。LLMエージェントも同様に、記憶を持つことで以下のメリットが期待できます。

* 一貫性のあるパーソナライズされたインタラクション：過去の会話やユーザーの好みを記憶することで、より自然で人間らしい対話が可能になります。
* フィードバックからの学習：ユーザーからのフィードバックを記憶し、それを基に改善することで、より賢く、役立つエージェントへと進化します。
* 反復的なクエリの回避：以前に回答した質問や解決した問題を記憶することで、同じ質問に何度も答える手間を省き、効率的なタスク実行を支援します。

しかし、現状のLLMエージェントは、プロンプトウィンドウと呼ばれる限られた範囲の情報しか保持できません。そのため、長期的な記憶を持つことができず、まるで金魚のようにすぐに忘れてしまうのです。

プロンプトウィンドウとは、LLMエージェントが一度に処理できるテキストの長さのことです。

### 既存の記憶システムの限界

LLMエージェントに記憶を持たせるための研究は、これまでにも行われてきました。代表的なものとしては、以下のようなアプローチがあります。

* ナレッジグラフ：エンティティ間の関係性を構造的に表現するのに適していますが、時間的な情報やマルチモーダルな情報を扱うのが苦手です。
* ベクトルデータベース：テキスト情報をベクトルとして保存し、類似度に基づいて検索しますが、複雑な構造を持つ情報を扱うのが苦手です。

これらの既存システムは、それぞれに長所と短所がありますが、以下のような課題が残されています。

1. 記憶の構造化：情報を整理し、関連性に基づいて効率的に検索する仕組みが不足しています。
2. マルチモーダル対応：テキスト情報だけでなく、画像や音声などの多様な情報を扱えるようにする必要があります。
3. スケーラビリティ：大量の情報を効率的に保存し、検索できるようにする必要があります。

### MIRIXが目指す新しいAIの記憶

これらの課題を解決するために、MIRIXは新しいアプローチでLLMエージェントの記憶システムを構築します。MIRIXは、テキストだけでなく、画像や音声などの多様な情報を統合的に扱うことができ、大量の情報を効率的に保存し、検索することができます。さらに、MIRIXは情報を構造化し、関連性に基づいて整理することで、より高度な推論や問題解決を可能にします。

MIRIXは、LLMエージェントが真に人間のように記憶し、学習し、進化するための基盤となることを目指します。次章では、MIRIXの具体的な構造と仕組みについて詳しく解説します。

MIRIXの構造：6つの記憶とマルチエージェント連携

前セクションでは、既存の記憶システムの限界と、MIRIXが目指す新しいAIの記憶の形について解説しました。本セクションでは、MIRIXの中核となる要素、すなわち、6つの記憶コンポーネントと、それらを連携させるマルチエージェントフレームワークについて詳しく見ていきましょう。

MIRIXの6つの記憶コンポーネント：役割と特徴

MIRIXは、人間の記憶を参考に、LLMエージェントに必要な情報を効率的に整理・活用するために、6つの異なる記憶コンポーネントを搭載しています。それぞれが専門的な役割を担い、連携することで、エージェントは多様な情報を長期的に保持し、状況に応じて最適な情報を引き出すことが可能になります。

MIRIXの6つの記憶コンポーネント

Core Memory
Episodic Memory
Semantic Memory
Procedural Memory
Resource Memory
Knowledge Vault

1. Core Memory：エージェントの「個性」とユーザーの「基本情報」

Core Memoryは、エージェントがユーザーとやり取りする上で、常に把握しておくべき高優先度の永続的な情報を保存します。具体的には、以下の2つのブロックに分かれています。

ペルソナブロック：エージェントの個性、口調、行動プロファイルなどを記録します。
ヒューマンブロック：ユーザーの名前、好み、自己認識属性など、ユーザーに関する不変の事実を記録します。（例：「ユーザーの名前はDavid」、「ユーザーは日本食が好き」）

MemGPT [22] の設計にインスパイアされたこのメモリは、エージェントの基本的なアイデンティティを確立し、一貫性のある対話を可能にします。メモリ容量が上限に近づくと、重要な情報を失うことなくコンパクトさを維持するために、制御された書き換えプロセスが実行されます。

2. Episodic Memory：ユーザーの「体験」を記録するタイムカプセル

Episodic Memoryは、タイムスタンプ付きのイベントと、ユーザーの行動、経験、活動を反映した時間的に整理されたインタラクションを記録します。これは、構造化されたログまたはカレンダーとして機能し、エージェントがユーザーのルーチン、最近性、およびコンテキストを認識したフォローアップを可能にします [17, 23, 18]。各エントリは、次のフィールドで定義されます。

event_type（例：user_message, inferred_result, system_notification）
summary（イベントの簡潔な自然言語記述）
details（ダイアログの抜粋や推測された状態など、拡張されたコンテキスト情報）
actor（イベントの発生元、ユーザーまたはアシスタント）
timestamp（例：「2025-03-05 10:15」）

この構造により、エージェントはメモリを時間的にインデックス付けし、進行中のタスクを特定したり、保留中のアクションをフォローアップするなど、時間の経過に伴う変化を追跡できます。

3. Semantic Memory：知識の「図書館」

Semantic Memoryは、特定の時間やイベントに依存しない、抽象的な知識と事実情報を保持します。これは、世界またはユーザーのソーシャルグラフに関する一般的な概念、エンティティ、および関係の知識ベースとして機能します。例えば、「ハリーポッターはJ.K.ローリングによって書かれた」または「ジョンはジョギングが好きでサンフランシスコに住んでいるユーザーの友人です」のようなエントリを保存できます。各エントリには、次のものが含まれます。

name（概念またはエンティティ識別子）
summary（簡潔な定義または関係ステートメント）
details（拡張された背景またはコンテキストの説明）
source（例：ユーザー提供、Wikipedia、または会話から推測）

エピソードメモリとは異なり、セマンティックエントリは概念的に上書きされない限り永続化され、社会的、地理的、または常識的な知識に関する推論をサポートします。

4. Procedural Memory：作業手順を記憶する「マニュアル」

Procedural Memoryは、ハウツーガイド、操作ワークフロー、インタラクティブスクリプトなどの構造化された目標指向のプロセスを保存します。これらは時間依存性（エピソード）でも抽象的な事実（セマンティック）でもなく、複雑なタスクでユーザーを支援するために呼び出すことができるアクション可能な知識を表します。一般的な例としては、「旅費精算フォームのファイル方法」、「Zoom会議を設定する手順」、「OpenTableでレストランを予約する方法」があります。各エントリには、次のものが含まれます。

entry_type（workflow、guide、またはscript）
目標または機能の説明
手順のリスト（オプションでJSONまたは構造化された形式）として表される手順

このメモリコンポーネントは、指示計画、自動化、およびユーザーの目標のサブタスクへの分解をサポートします。

5. Resource Memory：進行中の作業に関する「ドキュメント」

Resource Memoryは、ユーザーが積極的に関与しているが、他のメモリカテゴリに分類されない、完全または部分的なドキュメント、トランスクリプト、またはマルチモーダルファイルを処理します。例えば、ユーザーが友人の詳細なピクニック計画やプロジェクト提案書を読んでいる場合、エージェントはその情報をリソースメモリから保存および取得できます。各エントリには、次のものが含まれます。

title（リソース名）
summary（簡単な概要とコンテキスト）
resource_type（例：doc、markdown、pdf_text、image、voice_transcript）
完全または抜粋されたコンテンツ

この設計により、エージェントは以前に見た資料を参照したり、ドキュメントから引用したり、ユーザーのワークフローを支援するためにドキュメント内を検索したりできます。

6. Knowledge Vault：機密情報を守る「金庫」

Knowledge Vaultは、資格情報、住所、連絡先情報、APIキーなどの、口頭でのやり取りには通常関連しない、機密情報を安全に保管するためのリポジトリとして機能します。各エントリには、次のものが含まれます。

entry_type（例：credential、bookmark、contact_info、api_key）
source（例：ユーザー提供、github）
sensitivity level（low、medium、high）
実際のsecret_value

感度が高いエントリは、アクセス制御によって保護され、誤用や漏洩を防ぐためにカジュアルな検索から除外されます。

マルチエージェントフレームワーク：記憶を連携させる「オーケストラ」

MIRIXは、これらの6つの記憶コンポーネントを効果的に連携させるために、マルチエージェントフレームワークを採用しています。このフレームワークは、6つのメモリコンポーネントに対応する6つのメモリマネージャーと、タスクルーティングを担当するメタメモリマネージャーで構成されています。

新しい入力がシステムに入ると、まずメタメモリマネージャーがコンテンツを分析し、どのメモリコンポーネントが関連するかを判断します。その後、入力は対応するメモリマネージャーにルーティングされ、それぞれが並行してメモリを更新します。この際、冗長な情報が各メモリタイプ内で回避されるように注意が払われます。更新が完了すると、メモリマネージャーはメタメモリマネージャーに報告し、メモリ更新プロセスが完了したことを確認します。

このように、MIRIXのマルチエージェントフレームワークは、構造化された異種メモリの管理を容易にし、効率的な情報処理と長期的な知識の蓄積を可能にしています。次のセクションでは、MIRIXの主要な機能である「アクティブ検索」について詳しく解説します。

MIRIXの頭脳：状況に応じて記憶を呼び出す「アクティブ検索」

MIRIXの核心を担うのが、状況に応じて最適な記憶を自動で引き出す「アクティブ検索」です。従来の記憶システムでは、ユーザーが明示的に「記憶を検索して」と指示する必要がありましたが、MIRIXは違います。まるで優秀な秘書のように、今、何が必要かを察知し、適切な情報を提供するのです。その仕組みを紐解いていきましょう。

アクティブ検索の2ステップ

アクティブ検索は、以下の2つのステップで実行されます。

1. **トピックの生成:** 最初に、エージェントはユーザーの入力内容（コンテキスト）を分析し、現在最も重要なトピックを特定します。これは、質問の意図を理解する、あるいは会話の流れを把握するプロセスと言えるでしょう。
2. **関連情報の検索:** 次に、特定されたトピックに基づいて、MIRIX内の各記憶コンポーネント（Core, Episodic, Semanticなど）から関連情報を検索します。各コンポーネントは、それぞれの特性に応じて情報を整理しているため、効率的な検索が可能です。

具体的な例で理解を深める

例えば、ユーザーが「TwitterのCEOは誰？」と質問したとしましょう。従来のシステムでは、ユーザーが「記憶を検索して、TwitterのCEOに関する情報を探して」と指示する必要がありました。

しかし、MIRIXでは、エージェントが自動的に「TwitterのCEO」というトピックを認識し、Semantic Memory（知識記憶）から関連情報を検索します。そして、検索結果をシステムプロンプトに注入し、LLM（大規模言語モデル）が最新の情報に基づいた回答を生成できるようにします。

“`html

アクティブ検索は、ユーザーが明示的に指示しなくても、エージェントが自律的に必要な情報を取得し、活用できる点が画期的です。

“`

検索機能の多様性

MIRIXは、状況に応じて最適な検索方法を選択できるように、多様な検索機能を備えています。

* **embedding_match:** 意味的に類似した情報を検索
* **bm25_match:** キーワードに基づいた高速な検索
* **string_match:** 文字列の完全一致を検索

これらの検索方法を組み合わせることで、より高度な情報検索を実現しています。例えば、ユーザーが曖昧な表現を使った場合でも、embedding_matchで意味的に近い情報を抽出し、bm25_matchでキーワードに基づいた情報を補完することで、的確な回答を生成できます。

アクティブ検索がもたらすメリット

アクティブ検索によって、MIRIXは以下のメリットをもたらします。

* **ユーザーの負担軽減:** 明示的な指示が不要になるため、より自然な会話が可能になります。
* **情報の鮮度維持:** 常に最新の情報に基づいて回答を生成するため、誤った情報を提供するリスクを軽減します。
* **コンテキストの理解:** 会話の文脈を考慮して情報を検索するため、よりパーソナライズされたインタラクションを実現します。

アクティブ検索とマルチエージェント

アクティブ検索は、MIRIXのマルチエージェントアーキテクチャと密接に連携しています。各Memory Manager（記憶管理エージェント）は、それぞれの記憶コンポーネントに特化した検索機能を提供し、Meta Memory Manager（メタ記憶管理エージェント）が全体を統括することで、効率的かつ効果的な情報検索を実現しています。

“`html

アクティブ検索は、MIRIXの「頭脳」とも言える重要な機能です。状況を理解し、必要な情報を自動的に選択・活用することで、LLMエージェントの可能性を大きく広げます。

“`

アクティブ検索は、MIRIXが単なる記憶システムではなく、状況に応じて最適な情報を提供できるインテリジェントなシステムであることを示しています。この機能こそが、MIRIXがLLMエージェントの新たな未来を切り開く鍵となるでしょう。

実験結果：MIRIXは本当に賢い？既存システムとの比較

MIRIXの性能を検証するために、2つの実験を実施しました。ここでは、その結果を詳細に解説し、既存のシステムと比較することで、MIRIXがどれほど優れているのかを明らかにします。

ScreenshotVQA：視覚情報を理解する能力

ScreenshotVQAは、MIRIXチームが新たに作成したベンチマークです。この実験では、LLMエージェントにユーザーの行動を理解させるために、大量のスクリーンショットを分析させます。既存のシステムでは、このようなマルチモーダルな情報を処理することが難しいため、MIRIXとRAGベースライン、ロングコンテキストベースラインという2つの異なるアプローチと比較しました。

結果は以下の通りです。

MIRIXは、RAGベースラインと比較して、35%高い精度を達成しました。
さらに、ストレージ要件を99.9%削減することにも成功しました。これは、MIRIXが視覚情報を効率的に処理し、重要な情報のみを抽出できることを示しています。
ロングコンテキストベースラインとの比較では、93.3%のストレージ削減を実現しつつ、なんと410%もの精度向上を達成しました。

これらの結果から、MIRIXは視覚情報を理解し、効率的に記憶する能力において、既存のシステムを大きく上回ることがわかりました。

LOCOMO：長期的な会話を記憶する能力

LOCOMOは、長期にわたる会話を対象としたデータセットです。この実験では、MIRIXと既存のメモリシステムとの垂直比較を行いました。チャットエージェントは、会話のトランスクリプトではなく、検索されたメモリのみに基づいて質問に答えるように制限されています。

結果は以下の通りです。

MIRIXは、85.38%という高い精度で最先端のパフォーマンスを達成しました。
既存の最良の手法を8.0%上回り、ロングコンテキストモデルによって設定された上限に迫る結果となりました。

この実験から、MIRIXは長期的な会話の内容を正確に記憶し、必要に応じて検索する能力に優れていることが証明されました。

実験結果まとめ：MIRIXは本当に賢い！

これらの実験結果は、MIRIXがLLMエージェントの記憶システムとして、既存のシステムを大きく上回る性能を持つことを明確に示しています。特に、以下の点が重要です。

高い精度：ScreenshotVQAとLOCOMOの両方の実験で、MIRIXは既存システムよりも高い精度を達成しました。
ストレージ効率：MIRIXは、高い精度を維持しながら、ストレージ要件を大幅に削減することに成功しました。
マルチモーダル情報処理能力：ScreenshotVQAの実験結果は、MIRIXがテキストだけでなく、視覚情報も効率的に処理できることを示しています。
長期記憶能力：LOCOMOの実験結果は、MIRIXが長期的な会話の内容を正確に記憶し、必要に応じて検索できることを示しています。

MIRIXは、LLMエージェントの記憶システムとして、まさに次世代のスタンダードとなる可能性を秘めていると言えるでしょう。

MIRIXの未来：パーソナルアシスタントから記憶のマーケットプレイスまで

MIRIXは、LLMエージェントに真の「記憶」をもたらすための革新的な技術です。実験結果で示された高い性能は、様々な分野での応用を可能にします。ここでは、MIRIXが実現する未来のビジョン、特にパーソナルアシスタントとウェアラブルデバイスへの統合、そして記憶のマーケットプレイス構想についてご紹介します。

スクリーン監視型パーソナルアシスタント：日々の活動を記憶し、賢くサポート

MIRIXの応用例として、まず挙げられるのがスクリーン監視型パーソナルアシスタントです。これは、ユーザーの許可を得てPC画面をリアルタイムで監視し、その内容を記憶として蓄積していくものです。

従来のパーソナルアシスタントは、会話の内容や指示されたタスクしか記憶できませんでした。しかし、MIRIX搭載のパーソナルアシスタントは、以下のようなことが可能になります。

過去に閲覧したWebサイトやドキュメントの内容を思い出す
使用していたアプリケーションやソフトウェアの設定を再現する
作業中のプロジェクトに関する質問に、的確な回答を提供する

たとえば、あなたが過去に特定のプログラミング言語の構文について調べていた場合、MIRIXはそれを記憶しています。そして、数ヶ月後に再び同じ言語でコーディングする際に、「この関数の引数って何だっけ？」と質問すれば、すぐに適切な情報を提示してくれるでしょう。

MIRIXは、単なる情報検索ツールではなく、あなたの思考プロセスを理解し、最適なタイミングで必要な情報を提供する、真のパートナーとなるのです。

ウェアラブルデバイスとの融合：日常をインテリジェントに記録し、生活を豊かに

MIRIXは、AIメガネやAIピンといったウェアラブルデバイスとの統合にも大きな可能性を秘めています。これらのデバイスは、音声や視覚を通じて様々な情報を収集しますが、従来のデバイスは、それらを長期的に記憶し、活用することができませんでした。

MIRIXを搭載したウェアラブルデバイスは、以下のようなインテリジェントな体験を提供します。

会議の内容を自動的に要約し、重要なポイントを後で確認
頻繁に訪れる場所や、特定の人物を認識し、関連情報を提示
過去の会話やタスクを思い出し、スムーズなコミュニケーションを支援

たとえば、あなたが初めて訪れる場所で道に迷ったとします。MIRIX搭載のAIメガネは、過去にあなたが同様の場所を訪れた際の地図情報や、交通手段を記憶しています。そして、「以前、〇〇に行った時は、△△駅からバスに乗ったな」といった具体的なアドバイスを提供してくれるでしょう。

MIRIXは、あなたの視覚、聴覚、思考を拡張し、より豊かな人生を送るための強力なツールとなるのです。

Agent Memory Marketplace：AIエージェントが記憶を取引する未来

MIRIXがもたらす未来は、パーソナルな体験の向上だけではありません。研究チームは、AIエージェントが収集した記憶を取引するAgent Memory Marketplaceという革新的な構想を提唱しています。

これは、以下のような可能性を秘めています。

特定の分野の専門家（料理、プログラミング、投資など）の記憶を共有し、知識やスキルを効率的に習得
著名人やインフルエンサーのAIペルソナを作成し、ファンとのインタラクションをよりパーソナライズ
AIクローンを作成し、デートやマッチングのプロセスを加速

Agent Memory Marketplaceは、個人の経験や知識を共有し、新たな価値を生み出す、全く新しい経済圏を創出する可能性を秘めているのです。

プライバシー保護について

Agent Memory Marketplaceの実現には、プライバシー保護が不可欠です。MIRIXは、エンドツーエンドの暗号化、きめ細かいアクセス許可、分散型ストレージなどの技術を用いて、ユーザーのプライバシーを厳守します。

まとめ：MIRIXが拓く、記憶を活かした未来

MIRIXは、LLMエージェントの可能性を大きく広げる、画期的な記憶システムです。パーソナルアシスタント、ウェアラブルデバイス、そしてAgent Memory Marketplaceといった様々な応用を通じて、私たちの生活をより豊かに、よりインテリジェントに変えていくでしょう。今後のMIRIXの進化に、ぜひご注目ください。