LLMで歴史的抑圧を測る新手法

紹介論文

今回紹介する論文はAssessing Historical Structural Oppression Worldwide via Rule-Guided
Prompting of Large Language Modelsという論文です。

この論文を一言でまとめると

大規模言語モデル(LLM)を活用し、世界各地の歴史的構造的抑圧を評価する革新的なアプローチを解説。文化人類学、社会学、計算機科学の知識を統合し、公平な社会分析を目指します。

はじめに：なぜLLMで歴史的抑圧を測るのか？

社会における不平等、特に人種や民族に基づく不平等は、長年にわたり研究の中心的なテーマです。しかし、従来の抑圧を測る指標には限界があり、グローバルな視点とローカルな文脈を理解する上で課題が残ります。そこで、本記事では、大規模言語モデル（LLM）を用いた新しいアプローチの必要性を解説します。

従来の抑圧指標の限界

従来の抑圧指標は、いくつかの点で問題があります。

• 国を越えた妥当性の問題：各国の排斥、植民地化、社会的地位の歴史が異なるため、従来の指標をそのまま国を越えて比較することは困難です。
• 物質的資源の偏重：従来の指標は、所得や教育といった物質的な資源を重視するあまり、人種や民族に基づく差別や排除といった、人々の経験に基づいた抑圧を見落としがちです。
• 構造化された指標の制約：政府や統計機関が提供する標準化されたカテゴリに依存するため、個人の自己認識や多様なアイデンティティを十分に反映できません。例えば、米国先住民は、部族への所属によって資源へのアクセスや法的地位、文化的アイデンティティが大きく左右されるにもかかわらず、部族名で自己申告する機会を奪われています。

LLMを用いた新しいアプローチの必要性

LLMは、従来の指標の限界を克服し、より包括的な抑圧の測定を可能にする潜在力を持っています。

• 文脈を考慮したスコアの生成：LLMは、多様な地政学的環境において、人々の経験に基づいた歴史的な不利益を、文脈を考慮して評価できます。例えば、ブラジルにおける「ヒスパニック」と米国における「ヒスパニック」では、歴史的背景や社会構造が大きく異なるため、LLMはそれぞれの文脈に合わせてスコアを生成する必要があります。
• 非構造化データの活用：LLMは、自由記述の民族的アイデンティティなどの非構造化データを解釈し、従来の定量分析では捉えきれないニュアンスを捉えることができます。
• グローバルな視点とローカルな文脈理解の重要性：抑圧の構造は国や地域によって大きく異なるため、グローバルな視点とローカルな文脈の両方を理解する必要があります。LLMは、大量のテキストデータを学習することで、これらの複雑な関係性を把握できる可能性があります。

LLMの潜在的な利点

LLMを活用することで、抑圧の測定はよりスケーラブルで、異文化理解に富んだものになる可能性があります。

• スケーラビリティ：LLMは、大規模なデータセットを効率的に処理できるため、広範な地域や人口を対象とした分析が可能になります。
• 異文化理解：LLMは、多言語に対応しており、異なる文化や言語の文脈における抑圧の現れ方を理解するのに役立ちます。
• データ駆動型研究と公共の場での応用：LLMによる抑圧測定は、データ駆動型研究や公衆衛生の分野で、抑圧の現れ方を理解するためのスケーラブルなレンズを提供します。

本記事では、LLMを用いて歴史的抑圧を測るための具体的な手法と、その可能性について詳しく解説していきます。この新しいアプローチが、より公平で包括的な社会分析に貢献することを期待します。

論文の概要：ルールガイド型プロンプトの威力

この研究では、**大規模言語モデル（LLM）**を用いて、世界各地の歴史的構造的抑圧を評価する新しいフレームワークを提案します。従来の抑圧指標が抱える限界、例えば、国を越えた妥当性の問題や物質的資源への偏重といった課題に対し、LLMは新たな可能性を示唆します。

研究の目的：文脈を考慮した抑圧スコアの生成

本研究の主な目的は、LLMを活用し、多様な地政学的環境において、人々の経験に基づいた歴史的な不利益を、文脈を考慮して評価するためのフレームワークを構築することです。

具体的には、LLMが以下の能力を持つことを実証することを目指します。

* 明示的なルールに誘導されることで、国家内のアイデンティティに基づく歴史的抑圧のニュアンスを捉える。
* 自由記述の民族性データなどの非構造化データを解釈し、従来の定量分析では捉えきれないニュアンスを捉える。

方法論：ルールガイド型プロンプト戦略

研究では、多言語COVID-19グローバル調査から得られた、自己申告による民族性の自由記述データを使用しました。そして、解釈可能で理論的に根拠のある抑圧の推定値を生成するように、モデルを促す**ルールガイド型プロンプト戦略**を設計しました。

さらに、複数の最先端LLM（Gemini 1.5 Pro, GPT-3.5 Turbo, GPT-4o mini）にわたって、これらの戦略を体系的に評価しました。

主要な結果：LLMによる抑圧の理解

実験の結果、LLMは、明示的なルールに誘導されると、国家内のアイデンティティに基づく歴史的抑圧のニュアンスを捉えることができることが示されました。このアプローチは、システム的な排除の側面を強調する相補的な測定ツールを提供し、データ駆動型研究および公衆衛生の文脈における抑圧の現れ方を理解するためのスケーラブルな異文化レンズを提供する可能性を秘めています。

特に重要なのは、提案手法が人間の専門家による注釈との間で**0.852のピアソン相関係数**を達成し、**強力な一致**を示したことです。これは、LLMが社会科学的な概念を理解し、妥当な判断を下せる可能性を示唆するものです。

本研究の意義：社会分析におけるLLMの可能性

本研究は、LLMが単なるテキスト生成ツールではなく、社会分析のための強力なツールとなりうることを示唆しています。ルールガイド型プロンプトを用いることで、LLMは文脈を考慮した、より公平で正確な抑圧の評価を実現できる可能性があります。

このアプローチは、以下の点で重要な貢献をします。

* 従来の抑圧指標の限界を克服し、新たな測定フレームワークを提供する。
* データ駆動型研究や公衆衛生の分野で、抑圧の現れ方を理解するためのスケーラブルなレンズを提供する。
* 社会科学研究におけるLLMの可能性を広げ、新たな研究の方向性を示す。

本研究は、LLMの社会科学への応用における重要な一歩となるでしょう。

LLMによる抑圧スコアリング：手法の詳細

本セクションでは、論文「Assessing Historical Structural Oppression Worldwide via Rule-Guided Prompting of Large Language Models」で使用された具体的な手法を詳細に解説します。読者の皆様が、本研究を再現し、さらに発展させるための情報を網羅的に提供することを目的としています。

データセット：多言語グローバル調査の活用

研究では、COVID-19の非医療的影響に関する多言語グローバル調査のデータを使用しました。この調査では、参加者に対して「あなたの民族的背景をどのように説明しますか？」という自由記述式の質問を投げかけ、人種や民族に関する自己認識を尋ねています。さらに、170カ国以上の居住国リストから選択するオプションも提供することで、グローバルな視点を取り入れています。

具体的には、米国、カナダ、オーストラリア、ブラジル、アルジェリア、パレスチナ、プエルトリコ、フィンランド、マダガスカル、スウェーデンの10カ国から334の回答をサンプリングしました。これらの国々は、地域的多様性（北米、ラテンアメリカ、ヨーロッパ、アフリカ、中東、オセアニア）を最大限に考慮し、政治的に安定した地域と紛争地域、複雑な移住の歴史を持つ地域を含むように選定されています。

スキーマ構築：理論に基づいた抑圧レベルの定義

自由記述式の回答を分析するために、累積的不利、人種形成、歴史的トラウマ、批判的人種理論などの重要な理論的枠組みに基づいて、回答をレビューおよびクラスタリングしました。そして、グループの制度的位置、歴史的疎外、構造的暴力への曝露という3つの側面から抑圧を概念化し、以下の5段階の順序分類を開発しました。

1. **Little to No Oppression（抑圧ほぼなし）**: 社会で最も特権的なグループ。組織的な抑圧や暴力の経験はなく、民族性に基づく社会・健康リスクもありません。
2. **Low Oppression（低い抑圧）**: 2番目に特権的なグループ。組織的な抑圧や暴力の経験は最小限で、社会リスクもわずかです。
3. **Moderate Oppression（中程度の抑圧）**: 社会における特権と抑圧の中間グループ。組織的な抑圧や暴力をある程度経験し、社会リスクも中程度です。
4. **High Oppression（高い抑圧）**: 長期にわたる組織的な排除（植民地化、強制同化、隔離、法的差別など）を経験したグループ。法的権利は部分的に認められても、依然として不利な状況にあります。
5. **Severe Oppression（深刻な抑圧）**: 社会で最も抑圧されたグループ。組織的な抑圧や暴力を深刻に経験し、歴史的に深刻な社会リスクにさらされています。

この分類作業は、公衆衛生、政治学、人類学のバックグラウンドを持つ学生研究者が、社会学的方法論の訓練を受けた上で行いました。各注釈は、学術出版物、歴史的記述、政策文書などの外部ソースによって検証され、透明性と再現性を確保するために詳細な根拠と引用を添えて文書化されています。

ルールガイド型プロンプトモジュール：LLMの推論を制約する

LLMの推論を制約し、文脈を考慮した歴史的に根拠のあるスコアリングを強制するために、プロンプトに一連の社会学的指示を埋め込んだ**ルールガイド型プロンプトモジュール**を導入しました。このモジュールは、以下の2つの目的を果たします。

* 系統的抑圧の確立された枠組みとの一貫性を確保すること
* 国や言語を超えた比較可能性を強化すること

プロンプトテンプレートの構成要素：構造化された質問形式

LLMに与えるプロンプトは、以下の5つの構成要素からなる標準化されたテンプレートに従って作成しました。

1. **システムロール**: モデルは、特定の専門知識を持つ役割（例：「あなたは知識豊富な文化社会学者です」）を担うように設定されます。
2. **アイデンティティステートメント**: 各インスタンスは、回答者の国と自己識別グループを指定します（例：「私は{国}の人であり、私が識別したのは{アイデンティティ}です」）。
3. **指示**: LLMの出力を評価ルーブリックに固定するための指示を与えます（例：「これらの数値カテゴリをスケールとして使用して、私の状況を最もよく説明する数値と説明を示してください。あなたの回答は、与えられた定義に基づいていなければなりません。与えられた定義以外の追加要因を推測しないでください」）。
4. **抑圧スキーマ**: 前述の5段階の抑圧レベルを定義したルーブリックをLLMに提示します。
5. **必要な出力形式**: LLMからの回答は、固定された解析可能な構造（例：「評価：<1〜5>; 説明：<コンテキストに基づく簡単な説明>」）を持つように強制されます。

LLMの選択：最先端モデルの比較

本研究では、以下の3つの最先端LLMを使用して実験を行いました。

* **Gemini 1.5 Pro**: Google DeepMindによって開発されたマルチモーダルモデルです。テキストだけでなく、画像や音声などの情報も処理できます。
* **GPT-3.5 Turbo**: OpenAIによって作成された指示調整モデルです。特定のタスクを実行するようにトレーニングされており、指示に従う能力が高いです。
* **GPT-4o mini**: OpenAIによってリリースされた、高速で低レイテンシーのGPT-4バリアントです。より効率的な計算リソースで動作するように設計されています。

これらのモデルは、アーキテクチャ、トレーニングデータ、およびパフォーマンス特性が異なるため、さまざまなLLMの能力を評価できます。

実験設定：再現性を重視した設計

実験の再現性を高めるために、LangChainフレームワークを使用して各プロンプトを動的に構築し、グローバルコンテキスト全体での一般化可能性を確保しました。また、PythonのThreadPoolExecutorを使用して並列化を行い、効率的な実験を可能にしました。さらに、決定論的な出力を強制するために、すべての実験は温度を0に設定して実施しました。

実験結果の分析：LLMはどこまで抑圧を理解できるのか？

本セクションでは、LLMが歴史的抑圧をどの程度理解できるのか、実験結果を詳細に分析します。評価指標を解説し、LLMが得意とする点、苦手とする点を明確にすることで、LLMの可能性と限界を探ります。

評価指標：LLMの性能を測るモノサシ

LLMの性能を評価するために、以下の指標を用いました。

* **平均絶対誤差（MAE: Mean Absolute Error）**：モデルの予測値と人間の専門家による注釈との間の絶対誤差の平均値です。MAEが小さいほど、モデルの予測精度が高いことを示します。
* **分類精度（Accuracy）**：モデルが正しく分類できたインスタンスの割合です。精度が高いほど、モデルの分類性能が高いことを示します。
* **コヘンのκ係数（Kappa係数）**：2人の評価者（この場合はLLMと人間の専門家）間の合意度を測る指標です。κ係数が1に近いほど、合意度が高いことを示します。
* **ピアソンの相関係数（r）**：2つの変数（LLMの予測と人間の注釈）間の線形関係の強さと方向を測る指標です。rが1に近いほど、正の相関が強く、-1に近いほど負の相関が強いことを示します。
* **スピアマンの順位相関係数（ρ）**：2つの変数間の単調関係の強さと方向を測る指標です。ピアソンの相関係数と同様に、ρが1に近いほど正の相関が強く、-1に近いほど負の相関が強いことを示します。

全体的なパフォーマンス：Gemini 1.5 Proが最高性能

実験の結果、**Gemini 1.5 Pro** が最も優れた全体的なパフォーマンスを示しました。ルールガイド設定では、最小のMAE（0.401）、最高の精度（0.608）、そして人間の専門家による注釈との最も強い一致（κ = 0.482; r = 0.852; ρ = 0.844）を達成しました。

対照的に、**GPT-3.5 Turbo** は一貫してパフォーマンスが低く、MAEが高く、一致が弱いという結果になりました。**GPT-4o mini** は競争力のある結果を示しましたが、ルールガイド設定ではGemini 1.5 Proを上回ることはできませんでした。

これらの結果から、Gemini 1.5 Proは、構造化された理論に基づいた推論タスクに適していることが示唆されます。一方、GPT-3.5 Turboは、ルールガイドがない状態では、十分な性能を発揮できない可能性があります。

国レベルの分析：得意な国、苦手な国

国レベルで見ると、LLMはブラジル（r = 0.86）、カナダ（0.84）、アメリカ（0.82）、そしてオーストラリア（0.81）において、人間の注釈との最も強い一致を示しました。これらの国々は、歴史的抑圧に関する情報が比較的豊富であり、LLMが学習しやすい環境にあると考えられます。

一方、アルジェリア（0.52）とマダガスカル（0.50）では、アラインメントが著しく低下しました。これらの国々では、歴史的抑圧に関する情報が限られているか、LLMが理解しにくい文化的背景がある可能性があります。

LLMが得意とする点

* **構造化された知識の利用**：LLMは、大量のテキストデータから学習した知識を利用して、歴史的抑圧に関する判断を下すことができます。
* **文脈の理解**：ルールガイドによって、LLMは文脈を考慮した判断を下すことが可能になります。
* **スケーラビリティ**：LLMは、大規模なデータセットを効率的に処理できるため、広範な地域や人口を対象とした分析が可能になります。

LLMが苦手とする点

* **曖昧なアイデンティティの解釈**：LLMは、曖昧なアイデンティティ（例：「インディアン」が南アジア系かアメリカ先住民系か）を誤って解釈する場合があります。
* **特定の差別パターンの過剰評価または過小評価**：LLMは、特定の差別パターンを過剰に評価したり、過小に評価したりする傾向があります。
* **ハルシネーション**：LLMは、存在しない歴史的事実を作り出す（ハルシネーション）ことがあります。

次のセクションでは、LLMがどのような場合に誤った判断を下しやすいのか、具体的な事例を交えながら分析します。これにより、LLMの改善に向けたヒントを探ります。

エラー分析：LLMは何を間違えやすいのか？

LLM（大規模言語モデル）は、社会科学研究において強力なツールとなり得る一方で、その判断が常に正確とは限りません。本セクションでは、LLMが誤った判断を下す原因を特定し、改善のためのヒントを探ります。具体的な事例を提示することで、読者の理解を深めることを目指します。

過大評価と過小評価：LLMの判断傾向

LLMの判断には、大きく分けて過大評価と過小評価の2つの傾向が見られます。

• 過大評価：実際よりも抑圧の度合いを高く評価する傾向です。例えば、ある民族グループが歴史的に差別を受けてきたという情報を過度に重視し、現代社会における状況を正確に反映しない場合があります。
• 過小評価：実際よりも抑圧の度合いを低く評価する傾向です。例えば、ある民族グループが社会的に成功しているという情報を重視し、依然として存在する差別や偏見を見落とす場合があります。

論文によると、GPT-3.5 Turboは過大評価の傾向が強く、Gemini 1.5 Proは比較的バランスが取れているものの、依然として過大評価の傾向が見られます。一方、GPT-4o miniは過小評価の傾向がやや強いようです。

誤った推定の理由：なぜLLMは間違えるのか？

LLMが誤った判断を下す原因は様々ですが、主なものとして以下の3点が挙げられます。

• 提供された応答の誤解または誤った仮定：LLMは、与えられた情報（民族性や居住地など）を正しく解釈できない場合があります。特に、曖昧な表現や多義的な言葉が使用されている場合、誤解が生じやすくなります。
• 特定されたグループが直面した抑圧のインスタンスの過度の焦点または過小焦点：LLMは、ある民族グループが過去に経験した抑圧を過度に重視したり、現代社会における状況の変化を十分に考慮しなかったりする場合があります。
• ハルシネーション：LLMは、学習データに存在しない情報を生成することがあります。例えば、ある民族グループに関する誤った歴史的情報を生成し、それを判断の根拠として使用する場合があります。

具体的な事例：何が問題なのか？

論文では、LLMが誤った判断を下した具体的な事例がいくつか紹介されています。ここでは、その中から2つの例を取り上げ、LLMがどのように間違えるのかを詳しく見ていきましょう。

事例1：”米国”の”インディアン”

この事例では、LLMは回答者の民族性を”インディアン”と解釈し、ネイティブアメリカン（先住民）であると判断しました。そして、ネイティブアメリカンが歴史的に差別を受けてきたという情報を重視し、抑圧レベルを高く評価しました。しかし、実際には、回答者がインド系アメリカ人（インドからの移民）を指している可能性もあり、その場合、抑圧レベルの評価は異なってくるはずです。この事例は、LLMが民族性の曖昧さを正しく解釈できず、誤った仮定に基づいて判断を下すことがあることを示しています。

事例2：”パレスチナ”の”白人”

この事例では、LLMは回答者の民族性を”白人”と解釈し、パレスチナに居住していると判断しました。そして、パレスチナ人が全体として抑圧されているという情報を重視し、抑圧レベルを高く評価しました。しかし、実際には、パレスチナに居住する白人は、他のパレスチナ人とは異なる状況に置かれている可能性があり、抑圧レベルの評価は異なってくるはずです。この事例は、LLMが民族性と居住地の関係性を正しく解釈できず、過度に一般化した判断を下すことがあることを示しています。

改善のためのヒント：LLMをより賢く使うために

LLMの誤りを減らし、より正確な判断を導き出すためには、以下の点に注意する必要があります。

• より詳細な情報の提供：LLMに民族性や居住地に関するより詳細な情報を提供することで、曖昧さを解消し、誤解を防ぐことができます。
• 文脈情報の重視：LLMに過去の歴史だけでなく、現代社会における状況や変化に関する情報を提供することで、より現実的な判断を促すことができます。
• ルールベースの制約：LLMの判断に一定のルールや制約を設けることで、過度な一般化やハルシネーションを防ぐことができます。
• 人間の専門家によるレビュー：LLMの判断を人間の専門家がレビューすることで、誤りを発見し、修正することができます。

LLMは、社会科学研究において非常に有用なツールとなり得ますが、その限界を理解し、適切な対策を講じる必要があります。LLMを賢く活用することで、より正確で公平な社会分析が可能になるでしょう。

結論と今後の展望：LLMは社会分析の強力なツールとなるか？

本研究では、大規模言語モデル（LLM）を活用し、自己申告された民族性と居住地の情報から歴史的なアイデンティティに基づく抑圧の度合いを推定する新しいアプローチを提案しました。この手法は、従来の指標が捉えきれない、個人の経験に基づいた抑圧を可視化し、ルールガイド型プロンプトを用いることで、LLMの出力の妥当性と解釈可能性を高めることに成功しました。特に、Gemini 1.5 Proは、専門家の判断との高い一致度を示し、将来的な抑圧分類のベンチマークとなりうる可能性を示唆しました。

研究の意義と限界

本研究は、社会科学研究におけるLLMの可能性を切り開く一方で、いくつかの限界も抱えています。例えば、民族性以外のアイデンティティ要素（ジェンダー、性的指向など）や、調査対象国の偏りなどが挙げられます。また、抑圧という多次元的な概念を5段階の尺度に落とし込むこと自体にも、複雑な現実を単純化してしまうリスクがあります。

今後の研究の方向性

今後は、LLMのバイアスを軽減し、多様な文化的・地政学的コンテキストにおけるロバスト性を高めるための方法論開発が不可欠です。具体的には、以下のような方向性が考えられます。

• 多様なデータセットの活用: より多くの国や地域をカバーし、様々なアイデンティティ要素を考慮したデータセットを構築する。
• プロンプトエンジニアリングの高度化: LLMの推論プロセスをより詳細に制御し、文脈理解を深めるためのプロンプト設計を追求する。
• 倫理的な配慮: LLMの利用がもたらす潜在的なリスク（差別や偏見の増幅など）を評価し、適切な対策を講じる。

LLMは社会分析の強力なツールとなるか？

LLMは、社会科学研究において、スケーラブルな分析ツールとして大きな可能性を秘めています。しかし、その潜在能力を最大限に引き出すためには、技術的な課題を克服するだけでなく、倫理的な問題にも真摯に向き合う必要があります。LLMはあくまでツールであり、その利用は人間の知性と倫理観によって導かれるべきです。LLMを適切に活用することで、より公正で公平な社会の実現に貢献できると信じています。