Claudeの多言語性能を言語別データで見る — 低リソース言語ほど落ちる精度差

Claudeの多言語性能はどれくらいなのか

Claudeは英語を基準にした場合、フランス語やドイツ語のような主要言語ではほぼ差がなく、スワヒリ語(Swahili)やヨルバ語(Yoruba)のような低リソース言語では明確に精度が落ちます。公式ベンチマークは英語のスコアを100%とした相対値で14言語を測定しており、上位の欧州言語は97〜98%台に収まる一方、ヨルバ語は79.7%(Sonnet 4.5)まで下がります。

数値は英語版MMLU(Massive Multitask Language Understanding)のテストセットを、専門の人間翻訳者が14言語に翻訳したものをもとにしています。翻訳の元になった多言語MMLUの結果は、OpenAIのsimple-evalsリポジトリにも載っています。人手翻訳を使うことで翻訳品質が確保され、特にデジタル資源の少ない言語で重要だと説明されています。

評価はゼロショットのchain-of-thought形式で、モデルに例示を与えずに推論させています。スコアは英語の成績に対する割合で、各言語での絶対的な成績ではありません。80%は「英語の8割の成績」という意味です。

英語比のスコアは何を示し、何を示さないか

Sonnet 4.5では、14言語のうち11言語が96.7〜98.2%の1.5ポイント幅に収まります。この帯に入る言語同士の順位は、あまり意味を持ちません。意味があるのは、帯の外にあるベンガル語(95.4%)、スワヒリ語(91.1%)、ヨルバ語(79.7%)です。

多言語対応のページには、広く使われる言語で特に強く、リソースの少ない言語でも意味のある能力を保つという趣旨の記述があります。表の数字はこれと同じ方向を向いています。ただしスコアが示すのは言語ごとの差の大きさだけで、差が生まれる理由はページに載っていません。

ドキュメントは、標準的なUnicode文字を使う世界のほとんどの言語で、Claudeが入力の処理と出力の生成を行えるとしています。表の14言語は、そのごく一部にすぎません。

言語ごとのトークン消費量の差は、Claudeの日本語トークン消費で数字を扱っています。

測定の中身にも限りがあります。MMLUは学術分野の多肢選択問題が中心で、敬語や口語、スラングの自然さは測っていません。表の数値は、知識を問う問題に答える力の言語差と読むのが妥当です。

SonnetとHaikuで言語別に何が変わるか

各言語でSonnet 4.5とHaiku 4.5のスコア差(ギャップ)を計算すると、リソースの少ない言語ほどモデル間の差が急激に開きます。言語を3つの帯に分けると、帯ごとのギャップ幅は次のとおりです。

ポイント差だけでなく、英語との開き(100%から欠けた分)の倍率で見ると、別の姿が見えます。どの言語でもHaikuの欠けは、Sonnetの欠けの1.7〜2.7倍に収まります。倍率が最小のフランス語は4.3対2.5で約1.7倍、最大のアラビア語は7.5対2.8で約2.7倍です。

ヨルバ語は47.3対20.3で約2.3倍、スペイン語は3.6対1.8でちょうど2倍です。つまりHaikuは主要言語でも、英語との開きがSonnetの2倍前後あります。低リソース言語でポイント差が大きく見えるのは、Sonnet側の時点で英語からすでに離れているぶん、同じ倍率でも絶対値が膨らむためです。ヨルバ語のギャップが27.0ポイントなのに対し、スペイン語は1.8ポイントにとどまります。

モデルをまたいだ比較にも使い道があります。Haiku 4.5のスワヒリ語(78.3%)は、Sonnet 4.5のヨルバ語(79.7%)とほぼ同じ水準です。Haiku 4.5の日本語(93.5%)は、Sonnet 4.5のベンガル語(95.4%)を下回ります。

アラビア語はSonnetでは97.2%で、インドネシア語やドイツ語と同じ帯にいます。Haikuでは92.5%まで下がり、ヒンディー語(92.4%)と並びます。言語の帯分けは、モデルごとに引き直す必要があります。

コストを優先してHaikuへ寄せる判断は、主要言語では表上の差が小さい選択肢です。対象言語にスワヒリ語やヨルバ語が含まれる場合、この2言語はHaikuへ切り替えると知識問題の正答率が大きく下がります。翻訳や要約でも同様かは、自社データで測る必要があります。Sonnetクラスを維持するか、該当言語だけ個別に評価してから決める手があります。

複数言語を1つのモデルでまとめて処理する構成では、この非対称性が盲点になります。利用者の大半が英語やスペイン語で、少数がスワヒリ語というアプリでは、全体の満足度指標だけでは少数言語の劣化に気づけません。低リソース言語のリクエストだけSonnetクラスへ振り分ける構成は、コストと品質を両立させる現実的な案の1つです。

Sonnet 4.5の退役と、表を現行モデルに当てはめるときの注意

表に載っているSonnet 4.5は、2026年9月30日付で非推奨になりました。Claude APIからの退役は2026年11月30日で、推奨される移行先はclaude-sonnet-5-5です。Haiku 4.5は提供が続いており、退役は2026年10月15日より前にはならないとされています。

一方、多言語対応のページでは、スコア表が4.5世代の2モデルだけを対象にしています。同じページのコード例はclaude-opus-5-5を使っています。つまり表のスコアは、移行先のSonnet 5.5やコード例のOpus 5.5の言語別性能ではありません。

移行先でも同じ傾向が続くかどうかは、自社の言語と問題で測って確かめる必要があります。この表から引き出せるのは、4.5世代では低リソース言語でモデル間の差が大きく開いた、という事実です。モデルごとの位置づけはClaudeモデル一覧で、API全体の構成はAnthropic API完全ガイドで扱っています。

多言語アプリでどう設計に落とし込むか

公式ドキュメントは実装上のポイントを3つ挙げています。1つ目は入力・出力言語を明示することです。Claudeは会話から応答言語を推測しますが、本番アプリでは明示的に指定します。置き場所はシステムプロンプトが最も確実で、会話の全ターンで指示が安定します。

2つ目はネイティブスクリプトを使うことです。ローマ字転写ではなく、対象言語本来の文字体系でテキストを渡します。3つ目は文化的な文脈への配慮です。翻訳だけでは伝わらないニュアンスがあるため、対象読者の文化圏を意識したプロンプトにします。

利用者が実行時に言語を選べるアプリでは、その選択をシステムプロンプトに差し込みます。Claudeの推測には任せません。2言語間の翻訳なら、原文の言語と訳文の言語を両方書きます。ドキュメントの例は「ドイツ語から韓国語へ翻訳し、翻訳のみを返す」という形です。自然な表現を求めるなら「その言語の母語話者のように自然な言い回しで」と指示する手もあります。

ベンチマーク表の14言語は代表例です。ドキュメントも、表にない言語でも自社のユースケースに関係する言語はテストするよう求めています。次のコマンドは、ヨルバ語での応答を取得する最小の例です。

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "system": "常にヨルバ語で応答してください。ネイティブスクリプトを使ってください。",
    "messages": [{"role": "user", "content": "顧客からの返品依頼にどう対応すべきか教えてください"}]
  }'

応答は、翻訳者やネイティブスピーカーにレビューしてもらいます。表だけでは分からない語彙選択や敬語の適切さまで見られます。応答言語を安定させる実装はClaudeの応答言語をシステムプロンプトで固定する方法にまとめています。

自社アプリの言語別評価をどう設計するか

公式ベンチマークの14言語は、自社が扱う言語と一致するとは限りません。カスタマーサポートの対応言語や社内文書の要約対象は、表にない組み合わせであることのほうが多いはずです。次の4段階で組むと、表を鵜呑みにせず自社の用途に即して判断できます。

日本語の相対スコアはどこに位置するか

日本語はSonnet 4.5で96.8%、Haiku 4.5で93.5%です。14言語の中ではSonnetで9位、Haikuで8位にあたります。Sonnetでは中国語(96.9%)、韓国語・ヒンディー語(96.7%)とともに0.2ポイント幅に並びます。

欧州の主要言語との差は、Sonnet 4.5で0.2〜1.4ポイント、Haiku 4.5で0.8〜2.9ポイントです。スワヒリ語やヨルバ語のような大きな落ち込みとは一線を画します。日本語向けのアプリでは、このベンチマークの範囲では、モデル選択による多言語性能の揺れは小さい部類です。

ただしHaikuへ寄せると、日本語でも英語との開きはSonnetの約2倍(6.5対3.2)になります。主要言語の中では小さい差ですが、要約や翻訳の細かな品質を気にする用途では、Sonnetとの比較出力を取ってから決める余地があります。

日本語は、敬語や文体の使い分けが翻訳・要約の品質に直結する言語です。丁寧語とくだけた表現を混同するような崩れは、スコアに表れません。数値上のギャップが小さくても、プロンプトで文体を明示する設計が役立ちます。

まとめ

モデルを選ぶ前に、自社の対象言語がどの帯に入るかを決めておくと判断が早くなります。主要言語だけならHaikuも候補に入り、低リソース言語を含むなら、表の外にある文体や口語を含む自社の入力で、帯ごとにモデルを測り直します。