LLMは理解しているか？非二元代名詞の評価

紹介論文

今回紹介する論文はDo They Understand Them? An Updated Evaluation on Nonbinary Pronoun
Handling in Large Language Modelsという論文です。

https://arxiv.org/pdf/2508.00788v1.pdf

この論文を一言でまとめると

LLMにおける非二元代名詞の取り扱いに関する最新の評価研究を解説。MISGENDERED+ベンチマークを用いたGPT-4o, Claude 4などの評価結果を分析し、今後のインクルーシブなAI研究に向けた展望を議論します。

はじめに：なぜLLMにおける非二元代名詞の理解が重要なのか

AI技術、特に大規模言語モデル（LLM）は、私たちの社会に浸透し、様々な場面で活用されています。しかし、LLMが生成する文章には、ジェンダーバイアスや差別的な表現が含まれる可能性があり、これは社会的な公平性の観点から大きな問題です。

特に、非二元代名詞（they/themなど）の取り扱いは、LLMにとって依然として課題となっています。非二元代名詞とは、男性・女性という二元的なジェンダーに当てはまらない人（ノンバイナリー、ジェンダーフルイドなど）を指す場合に用いられる代名詞です。LLMが非二元代名詞を正しく理解し、適切に使用できない場合、誤ったジェンダー表現（misgendering）につながり、深刻な精神的苦痛を与える可能性があります。

誤ったジェンダー表現は、単なる言葉の誤りではありません。相手のジェンダーアイデンティティを否定し、尊厳を傷つける行為です。

本研究では、LLMにおける非二元代名詞の取り扱いに関する最新の評価研究を紹介します。この研究では、MISGENDERED+という新しいベンチマークを用いて、代表的なLLMの性能を詳細に分析しています。

なぜ、LLMにおける非二元代名詞の理解が重要なのでしょうか？

* インクルーシブな社会の実現：すべての人が尊重され、認められる社会を築くためには、LLMが多様なジェンダーアイデンティティを理解し、適切に表現することが不可欠です。
* 公平なAIシステムの構築： LLMがジェンダーバイアスを含んでいると、差別的な結果につながる可能性があります。非二元代名詞の取り扱いを改善することで、より公平なAIシステムを構築することができます。
* 信頼性の向上： LLMがジェンダーアイデンティティを正しく理解し、尊重することで、ユーザーからの信頼を得ることができます。

本研究は、LLMが非二元代名詞を理解するための現状の課題を明らかにし、今後の研究の方向性を示す上で重要な意味を持ちます。LLM開発者、研究者、そしてAIに関わるすべての人にとって、インクルーシブなAIを実現するための貴重な情報源となるでしょう。

MISGENDERED+ベンチマーク：より包括的な評価のために

大規模言語モデル（LLM）の公平性を評価する上で、ベンチマークの役割は非常に重要です。本研究では、LLMにおける代名詞の取り扱い、特に非二元代名詞の理解度を測るために、MISGENDERED+という独自のベンチマークを使用しました。ここでは、MISGENDERED+ベンチマークの詳細な設計、データセット構築、評価方法について解説します。

MISGENDERED+ベンチマークの設計

MISGENDERED+は、オリジナルのMISGENDEREDベンチマークを拡張し、より包括的な評価を可能にするために設計されました。オリジナルのベンチマークには、いくつかの課題がありました。例えば、

タスクが、明示的に示されたジェンダーアイデンティティに基づいてマスクされた代名詞を埋めるという、限定的なものであったこと。
最新のLLMの能力と公平性の進化を、十分に捉えきれていなかったこと。
評価対象が、2023年以前の古いモデルに限られていたこと。

これらの課題を克服するために、MISGENDERED+では以下の改善を行いました。

データセットの拡充：新しいテンプレート、多様な代名詞形式（様々なネオ代名詞を含む）、名前と代名詞のミスマッチのより広範なセットを追加しました。
ジェンダーアイデンティティ推論タスクの導入：モデルが代名詞の使用からジェンダーアイデンティティを推測する能力を評価する、新しいタスクを設計しました。

データセット構築の詳細

MISGENDERED+のデータセットは、LLMの代名詞処理能力を詳細に分析するために、慎重に構築されています。その特徴は以下の通りです。

規模：380万件以上のテンプレートインスタンスを含み、十分な統計的検出力を確保しています。
代名詞の多様性：二元代名詞（he/him, she/her）、ジェンダーニュートラル代名詞（they/them）、そして様々なネオ代名詞（xe/xem, ze/zirなど）を網羅しています。
名前の多様性：ジェンダーとの関連性（男性、女性、ユニセックス）によって分類された名前を使用し、ジェンダーバイアスを評価できるようにしました。

データセット構築においては、ステレオタイプ的な関連付けに挑戦するために、意図的に代名詞と名前のミスマッチを作成しました。例えば、伝統的に男性的な名前（例：Alex）とネオ代名詞（例：xe/xem）を組み合わせることで、LLMが名前の先入観に影響されずに、代名詞を正しく理解できるかをテストします。

評価方法

MISGENDERED+ベンチマークでは、LLMの性能を評価するために、以下の3つの設定を使用しました。

ゼロショット評価：追加の例を与えずに、代名詞を正しく使用できるかを評価します。
フューショット評価：少数の例（few-shot examples）を与えることで、モデルが文脈から学習し、性能を向上させることができるかを評価します。
ジェンダーアイデンティティ推論：モデルが代名詞の使用パターンから、話し手または言及されている人物のジェンダーアイデンティティを推測できるかを評価します。このタスクでは、LLMは与えられた文脈で最も可能性の高いジェンダーアイデンティティ（男性、女性、ノンバイナリー）を選択する必要があります。

ジェンダーアイデンティティ推論タスクは、従来の代名詞予測ベンチマークとは異なり、逆方向の推論を評価します。つまり、モデルに代名詞を与え、そこからジェンダーアイデンティティを推測させることで、LLMが言語的な手がかりとアイデンティティカテゴリーをどのように関連付けているかを明らかにします。

MISGENDERED+ベンチマークは、LLMの代名詞処理能力を多角的に評価するための、強力なツールです。次のセクションでは、このベンチマークを用いて評価したLLMの性能について、詳しく見ていきましょう。

LLMの評価結果：モデルごとの性能差と課題

大規模言語モデル（LLM）が、社会の様々な場面で活用されるにつれて、その公平性とインクルーシブネスがますます重要になっています。特に、ジェンダー・アイデンティティに関する表現、例えば非二元代名詞（they/themなど）の取り扱いにおいて、LLMがどのような性能を示すのかを評価することは、非常に重要な課題です。

本セクションでは、代表的なLLMであるGPT-4o、Claude 4、DeepSeek-V3、Qwen Turbo、Qwen2.5を、MISGENDERED+ベンチマークを用いて評価した結果を比較分析し、それぞれのモデルの強みと弱みを明らかにします。

評価対象のLLM

今回の評価では、以下の5つのLLMを使用しました。

* GPT-4o：OpenAIが開発した、高速な応答時間と高いアライメント品質を誇るマルチモーダルモデル。
* Claude 4：Anthropicが開発した、安全性を重視した設計で、ニュアンスのある推論や倫理的な判断を必要とするタスクに優れています。
* DeepSeek-V3：DeepSeek社が開発した、マルチモーダル拡張と大規模な事前学習コーパスを備えたオープンソースモデル。
* Qwen Turbo：Alibaba社が開発した、低遅延とリソース制約のある環境向けに最適化された、Qwen2.5の小型版。
* Qwen2.5：Alibaba社が開発した、720億のパラメータを持つ大規模なオープンソースLLMで、多様な多言語コーパスで学習されています。

評価結果の比較分析

全体的な傾向として、GPT-4oとClaude 4は高い性能を示しましたが、DeepSeek-V3とQwenモデルは、ゼロショット設定では性能が低いものの、フューショット設定では大幅な改善が見られました。また、ネオ代名詞の精度は依然として低い傾向があります。

モデルごとの詳細な評価結果は以下の通りです。

* **GPT-4o**
* ゼロショットとフューショットの両方の設定で一貫して高い性能を発揮。
* he/she/theyといった正準代名詞で特に高い精度を達成。
* **Claude 4**
* ニュアンスのある推論、人間の好み、倫理的な意思決定を必要とするタスクに優れる。
* GPT-4oに匹敵する高い性能を示す。
* **DeepSeek-V3**
* ゼロショット設定では性能が低い。
* フューショットプロンプトを使用すると大幅に改善される。
* **Qwen Turbo**
* 二元代名詞では中程度のゼロショット機能を示す。
* 中立性とネオ代名詞では苦戦する。
* **Qwen2.5**
* they, ae, eyなどの代名詞の精度が向上。
* フューショットプロンプトで大幅に改善。

また、文法形式別の評価結果を見ると、GPT-4oとClaudeは文法的な堅牢性を示しています。DeepSeek-V3はゼロショットでは以前は失敗していたものの、フューショットでは競合他社との差を縮めています。

モデルの強みと弱み

今回の評価から、各モデルの強みと弱みが明らかになりました。

**強み**

* 大規模なモデルサイズ、改善されたトレーニングデータセット、命令調整は、表現の公平性のギャップを埋める上で重要な役割を果たします。
* フューショットプロンプトは、性能の低いモデルを改善し、文法形式全体のパフォーマンスギャップを縮小するのに役立ちます。

**弱み**

* ネオ代名詞の精度は依然として一貫しておらず、名前ベースのジェンダーバイアスに対して脆弱です。
* 一部のモデルは、英語中心の代名詞の基礎が弱い傾向があります。
* 明示的な文脈的な手がかりがない場合、ステレオタイプ的なジェンダー関連付けにデフォルト設定されることがあります。

これらの結果は、LLMがジェンダー・アイデンティティに関する多様な表現を理解し、適切に扱うためには、さらなる改善が必要であることを示唆しています。

今回の評価結果を踏まえ、今後のインクルーシブなAI研究に向けた展望については、次セクションで詳しく議論します。

今後の展望：インクルーシブなAIに向けて

本研究では、大規模言語モデル（LLM）における非二元代名詞の取り扱いについて、詳細な評価を行いました。その結果、最新のLLMは以前のモデルと比較して、ジェンダーニュートラルな代名詞やネオ代名詞の処理能力が向上していることが明らかになりました。しかし、依然として課題が残っていることも事実です。ここでは、本研究から得られた重要な知見と、今後のインクルーシブなAI研究に向けた展望について議論します。

重要な知見

最新のLLMは、ジェンダーニュートラルな代名詞とネオ代名詞の処理において大幅な改善を示している。
しかし、ネオ代名詞と反転推論タスクの精度は一貫性がなく、アイデンティティに配慮した推論には依然としてギャップがある。
名前ベースのジェンダーバイアスに対する脆弱性が残っている。

今後の展望

これらの知見を踏まえ、今後のインクルーシブなAI研究に向けて、以下の3つの方向性が考えられます。

1. 学習データの多様性の向上

LLMが学習するデータには、ジェンダーニュートラルな代名詞やネオ代名詞の使用例が十分に反映されている必要があります。多様なジェンダー表現を含むテキストデータを収集し、学習に活用することで、LLMはより正確に代名詞を理解し、適切に使用できるようになります。

2. バイアス軽減技術の開発

LLMは、学習データに含まれる社会的な偏見を学習してしまう可能性があります。特に、名前からジェンダーを推測する際に、ステレオタイプ的な関連付けに頼ってしまう傾向があります。このようなバイアスを軽減するために、名前以外の情報も考慮した推論を行う技術や、バイアスを打ち消すための学習方法を開発する必要があります。

3. 評価指標の改善

現在の評価指標では、LLMが代名詞を正しく使用できているかどうかを十分に評価できていない可能性があります。特に、文脈によって代名詞の意味が変化する場合や、複数の解釈が可能な場合には、より高度な評価が必要です。代名詞の曖昧さや文脈依存性を考慮した、より洗練された評価指標を開発することで、LLMの理解度を正確に測ることができます。

これらの課題を克服し、インクルーシブなAIを実現するためには、研究者、開発者、そして社会全体が協力していく必要があります。本研究が、その第一歩となることを願っています。

まとめ：私たちができること

大規模言語モデル（LLM）における非二元代名詞の取り扱いに関する課題は、単なる技術的な問題ではありません。それは、社会的な公正、インクルージョン、そしてすべての人々が尊重される社会の実現に深く関わる問題です。この課題を克服し、より公正でインクルーシブなAIシステムを構築するために、私たち一人ひとりができることを考えてみましょう。