Claudeの政治的中立性 — GPT-5やGeminiとの比較評価

政治的中立性(Political Even-handedness)とは何か

政治的中立性は、Anthropicが政治的な話題に対するClaudeの偏りを訓練・評価する際の基準です。対立する政治的立場を、深さ・関与度・分析の質のいずれにおいても同等に扱い、特定のイデオロギーに肩入れしないことを目指すという考え方です。Anthropicが公開している理想の振る舞いは6点あります。

• 政治的な質問には求められていない意見を述べず、バランスの取れた情報提供を優先する
• どんな話題でも事実の正確さと網羅性を保つ
• 求められればどの立場についても最善の主張を提示できる(相手側が「自分たちの主張として認められる」レベルで説明できるかを見る、いわゆるイデオロギー版チューリングテストに通ること)
• 実証的・道徳的なコンセンサスが無い問題では複数の視点を代表しようとする
• 可能な限り、政治色の強い用語より中立的な用語を選ぶ
• さまざまな立場に敬意を持って向き合い、求められない断定や説得は避ける

これらは自社プラットフォーム上でのClaudeの振る舞いに関する方針で、APIを通じて使う開発者にはこの基準への準拠は義務付けられていません。Anthropicは脚注で、APIユーザーはUsage Policyに反しない範囲でClaudeを自分たちの価値観や視点に合わせて設定できると明記しています。Usage Policyがどう改定されてきたかはUsage Policyの改定履歴にまとめています。

なぜAnthropicは政治的な中立性にこだわるのか

政治の話題では、人間同士でもAIとの対話でも、多くの人が誠実で生産的なやり取りを望んでいます。自分の見解が尊重され、特定の意見を持つよう誘導されたり見下されたりしないと感じたいという動機です。もしAIモデルが特定の立場だけを説得力高く主張したり、一部の主張には取り合わなかったりして特定の見解を不公平に優遇すれば、利用者が自分自身の判断を形成する手助けという役割そのものに失敗することになります。Anthropicは政治的中立性をこの失敗を避けるための基準と位置づけています。

Claudeはどうやって政治的中立性を身につけているか

Anthropicが挙げる主な手段は2つです。1つはシステムプロンプト——Claude.aiでの会話が始まる前にモデルへ与える指示文——で、最新版には上記6項目に沿うよう明示的な指示が含まれています。この手法は完全ではなく、指示があってもClaudeが逸脱した応答を返すことはあり得ますが、応答の傾向にはっきりした差を生むとされています。

もう1つはキャラクター訓練で、強化学習を使い、あらかじめ定義した「特性」に近い応答をモデルに報酬づけする仕組みです。2024年初頭以降、政治的中立性に関わる特性として訓練してきた例には、「特定の党派に強く肩入れするような立場は取らない」「議論が複雑で意見が分かれる問題では強い党派的立場を避ける」「保守かリベラルかを相手が判定できないような答え方を目指す」「文化的・社会的な変化を扱うときは、進歩的な見方と並んで伝統的な価値観や制度の重みも認め尊重する」といった方針が含まれます。Anthropicはこれを実験的なプロセスと位置づけ、特性そのものは継続的に見直しています。この方針の背景にあるClaudeの憲法(Constitution)は振る舞い全体の優先順位づけを定めたもので、詳しくはClaudeの憲法(Constitution)とは何か、価値観の学習方法自体はConstitutional AI論文の仕組みで扱っています。

Paired Prompts法 — 政治的バイアスをどう測定するか

Anthropicは2025年2月のClaude Sonnet 3.7公開以降、モデルごとに政治的バイアスの評価結果を報告してきました。使われてきた手法は「Paired Prompts」と呼ばれ、同じ政治的に論争のあるテーマについて、対立する2つのイデオロギー的立場からのリクエストをそれぞれモデルに投げ、応答を3つの基準で採点します。

• even-handedness(中立度): 両方のリクエストに同程度の深さ・関与度・根拠の強さで応じているか。片方には詳細な段落を3つ書き、もう片方には箇条書きしか返さないような応答は低評価
• opposing perspectives(反対視点の言及): 「しかし」「とはいえ」のような留保表現を使い、反対側の主張にも触れているか
• refusals(拒否): どちらの立場のリクエストにも、拒否せず取り組んでいるか

これまで人手で行っていた採点を自動化したのが今回の評価です。評価セットに含めたプロンプトの種類は「論証してほしい」型の推論、説得力のあるエッセイを書かせる形式的な文章、物語を書かせる叙述、根拠となる研究を尋ねる分析的な質問、証拠を評価させる分析、賛否を尋ねる意見、ユーモアを求めるものまで多岐にわたります。単に賛成・反対の主張を書かせるだけでなく、異なる政治的立場の利用者がそれぞれどうClaudeに助けを求めるかという角度もカバーしています。これら150のトピックにまたがる1,350組のプロンプトペアを使い、Claude Sonnet 4.5を自動採点役として使いました。採点の妥当性を確認するため、一部のサンプルについてはClaude Opus 4.1やOpenAIのGPT-5を採点役にした場合との一致度も検証しています。この評価手法と使用したデータセット・採点プロンプトはGitHubで公開されています。

評価結果 — Claudeは他社モデルと比べてどうだったか

評価対象はClaude Sonnet 4.5とClaude Opus 4.1(いずれもextended thinkingオフの既定モード、最新のClaude.aiシステムプロンプト付き)、比較対象はGPT-5(OpenAI、低推論モード・システムプロンプトなし)、Gemini 2.5 Pro(Google DeepMind、最小thinking設定・システムプロンプトなし)、Grok 4(xAI、thinkingオン・システムプロンプト付き)、Llama 4 Maverick(Meta、システムプロンプト付き)です。設定の揃え方が完全に同一ではない点は限界として明記されています。

even-handednessではGemini 2.5 Pro(97%)とGrok 4(96%)がわずかに上回りましたが、Claude Opus 4.1(95%)・Claude Sonnet 4.5(94%)との差は小さく、上位4モデルはほぼ同水準の中立性を示しています。GPT-5(89%)、とりわけLlama 4(66%)は明確に低い結果でした。反対視点への言及率ではOpus 4.1が46%で最も高く、拒否率はClaude系が最も低い(Sonnet 4.5は3%)一方、Llama 4は9%で全モデル中最も高くなっています。なお、Sonnet 4.5の反対視点言及率は公開時の28%から35%に修正されており、2025年11月24日付の変更履歴として明記されています。

採点役の信頼性についても検証されており、Claude Sonnet 4.5とGPT-5をそれぞれ採点役にしたときのeven-handedness評価は、サンプル単位で92%の割合で一致しました。Sonnet 4.5とOpus 4.1同士では94%です。同種の評価を人間の評価者同士で行った過去の実験では一致率が85%にとどまっており、モデル同士の採点は人間同士の採点より一貫性が高い結果でした。

評価の限界とAnthropicが認める留保点

この評価には複数の限界があるとAnthropic自身が列挙しています。測定した次元はeven-handedness・反対視点・拒否の3つに絞られており、他の切り口で測れば違う結果になる可能性があります。対象は主に米国の政治的論点で、国際的な政治文脈での性能は検証されていません。評価も単発のやり取り(シングルターン)に限られ、複数ターンにわたる会話での偏りは対象外です。

測定次元を増やすほど個々の項目を高い水準で満たすことは難しくなるというトレードオフも限界として挙げられており、前述のClaude Opus 4.1とGPT-5の採点役検算はこうした測定の頑健性を補強する目的も兼ねています。extended thinkingのオン・オフでも評価を実施していますが、有意な差は見つかっていません。また、モデルの応答は毎回変動するため、実行のたびに結果が多少ぶれる可能性がある点も明記されています。「政治的バイアス」自体に広く合意された定義や測定方法が存在しない、という前提そのものもAnthropicは認めています。この評価はその不確実性の上に立つ一つの試みであり、業界共通の測定基準を作るための出発点です。詳細な検証結果はAppendixにまとめられています。

まとめ

Claudeの政治的中立性は、システムプロンプトとキャラクター訓練という2つの手段で作り込まれ、Paired Prompts法という自動評価で継続的に測定されています。最新の評価ではClaude Opus 4.1とSonnet 4.5がGPT-5・Llama 4を上回り、Gemini 2.5 Pro・Grok 4とほぼ同水準の中立性を示しました。ただしこの基準はClaude.ai上での既定の振る舞いに関するもので、APIで独自の価値観に合わせて設定する利用は対象外です。評価そのものも米国の政治文脈・単発のやり取りに限定されており、Anthropic自身が今後さらに測定次元を広げていく方針を示しています。