ClaudeとChatGPTの翻訳精度を比較 — 多言語ベンチマークの違い

ClaudeとChatGPT、どちらが翻訳に強いかを一発で答えるスコアはありません。両社とも「翻訳精度」という単独のベンチマークは持たず、代わりに多言語での知識・推論タスクの正答率を出しています。ただし2社の数値は、同じ翻訳済みMMLU(大規模マルチタスク言語理解ベンチマーク)のテストセットを土台にしています。この記事では両社の表を同じ物差しに揃え直し、言語別にどちらがどう崩れるか、日本語がどこに位置するかを見ます。

日本語の数値だけ先に挙げます。Claudeは英語比でSonnet 4.5が96.8%、Haiku 4.5が93.5%です。ChatGPT側(OpenAIのモデル)は正答率でo3-highが0.890、gpt-4oが0.835、gpt-4o-miniが0.726でした。単位が違うため、この数字同士は直接比べられません。

比較の前提 — 「翻訳精度」を測るデータは何か

Claudeの多言語対応ページとOpenAIのsimple-evalsリポジトリは、どちらも英語のMMLUテストセットを専門の人力翻訳者が14言語に翻訳したものを使っています。低資源言語でも質を保つため、機械翻訳ではなく人力翻訳者を使ったと両方のページに書かれています。OpenAIのページは例としてYorubaを挙げています。

土台は同じでも、数値の出し方は違います。

英語の行がないため、OpenAIの数値は英語比にできません。2つの表はそのまま引き算も大小比較もできないので、以下ではまず別々に示し、その後に両方で作れる共通の物差しを使います。

Claudeの多言語ベンチマーク

Claudeの多言語対応ページには、Claude Sonnet 4.5とClaude Haiku 4.5の相対スコアが載っています。

表のSonnet 4.5には、同ページで非推奨(deprecated)の注記が付いています。APIの提供終了は2026年11月30日の予定です。表に載っているのはSonnet 4.5とHaiku 4.5の2つだけで、同じページのコード例が指定する claude-opus-5-5 の数値はありません。

OpenAIの多言語ベンチマーク(GPT系モデル)

simple-evalsの結果ページには、同じ14言語の翻訳済みMMLUで測った絶対的な正答率が公開されています。10モデルのうち、上位の推論モデル(o3-high)、非推論のgpt-4o(2024-11-20版)、軽量のgpt-4o-mini(2024-07-18版)の3つを抜き出します。

同じ物差しに揃えると、ヨルバ語で差がつく

英語の行がなくても、両社の表に共通する行がひとつあります。スペイン語です。各モデルの各言語の数値を、そのモデル自身のスペイン語の数値で割れば、単位の違いを打ち消した「スペイン語比」が作れます(この比は本記事で計算した値で、どちらの公式ページにも載っていません)。ヨルバ語での値は次のとおりです。

スワヒリ語でも上位3つの並びは同じです。スペイン語比はo3-highが94.4%、Sonnet 4.5が92.8%、gpt-4oが92.4%でした。下位はHaiku 4.5が81.2%、gpt-4o-miniが80.0%でほぼ並びます。ヨルバ語ほどではありませんが、軽量モデルが先に沈む順番は変わりません。

この比較には条件の違いが残ります。Claudeの値は拡張思考ありのゼロショットchain-of-thought評価で、OpenAIの表は推論モデルのo3-highと非推論のgpt-4oが同じ表に並んでいます。Sonnet 4.5がgpt-4oより高く見えるのは、モデルの優劣というより、推論の有無が効いている可能性があります。読み取れるのは順位より形のほうです。

形で見ると、両社に共通するのは次の2点です。

• 14言語のうち最も低いのはヨルバ語、次がスワヒリ語。高資源のヨーロッパ言語は上位に並びます
• 小さいモデルほど、低資源言語での落差が大きい

2点目の幅は、ClaudeのヨルバがSonnet 4.5の79.7%からHaiku 4.5の52.7%へ27ポイント、フランス語は97.5%から95.7%で1.8ポイントです。OpenAIではヨルバがo3-highの0.780からgpt-4o-miniの0.458へ32ポイント、フランス語は0.906から0.766で14ポイントです。このベンチマークでは、低資源言語のほうが上位モデルか軽量モデルかの選択が結果に響きます。

日本語はどこに位置するか

14言語のなかで日本語は、ここに挙げた5モデルでは8〜11位に入ります。順位とスペイン語比を、ここまでに出てきたモデルで並べます。

o3-highだけは日本語が11位で、ヒンディー語(0.898)や韓国語・中国語(0.893)より下です。ただし全モデルで見ても日本語の落差は小さく、OpenAIの10モデルでは日本語の値が0.690(gpt-4.1-nano)から0.890(o3-high)までに収まります。モデルサイズで開く幅も、日本語は小さめです。ClaudeのSonnet 4.5とHaiku 4.5の差は3.3ポイントで、ヨルバ語の27.0ポイントの約8分の1にとどまります。OpenAIでもo3-highとgpt-4o-miniの差は0.164と、ヨルバ語の0.322の約半分です。このベンチマークでは、日本語はモデルサイズを変えたときの落ち込みが低資源言語ほど大きくありません。

OpenAIの10モデルすべての日本語の値を高い順に挙げます。o3-highが0.890、o1が0.889、o4-mini-highとgpt-4.5-previewが0.869、gpt-4.1が0.856です。続いてgpt-4oが0.835、o3-mini-highが0.831、gpt-4.1-miniが0.810、gpt-4o-miniが0.726、gpt-4.1-nanoが0.690です。

上位のo3-highとo1は0.001差で、日本語では実質並びます。10モデルの幅は0.200です。ヨルバ語は0.455から0.780までの0.325に広がるので、同じモデル群でも、このベンチマークでは日本語のほうが選択の影響を受けにくい言語です。

平均スコアで選ぶと、低資源言語の順位を見誤る

OpenAIの表には末尾に全体平均の行があり、10モデルを一列に並べやすくなっています。ところがヨルバ語の列は、平均の順位と一致しません。

全体平均が0.001しか違わないo4-mini-highとgpt-4.5-previewでも、ヨルバ語は2.6ポイント開きます。o3-mini-highは平均でgpt-4oに0.007及びませんが、ヨルバ語ではgpt-4oを上回ります。gpt-4.1-nanoの平均はgpt-4o-miniより0.036低いのに、ヨルバ語はほぼ同じ値です(0.455と0.458)。

平均の行からは、ヨルバ語のような個別の言語の出来が読み取れません。翻訳の対象に低資源言語が入るなら、平均より該当言語の列で比べるほうが実態に近くなります。

10モデルの全体平均を高い順に並べると、次のとおりです。

この結果は、simple-evalsのリポジトリで次のコマンドを実行すると再現できます。

python -m simple-evals.run_multilingual_mmlu

スワヒリ語からヨルバ語へ、さらに一段落ちる

低資源言語のなかでも、ヨルバ語はスワヒリ語よりさらに低くなります。両方の表から段差を計算すると、次のとおりです。

軽量なモデルほど、この段差が大きくなります。Claudeではスワヒリ語からヨルバ語への落差がSonnet 4.5で11.4ポイント、Haiku 4.5で25.6ポイントと2倍以上になります。OpenAIでもgpt-4o-miniの0.161は、o3-highの0.080の約2倍です。

応答言語をシステムプロンプトで固定する

翻訳タスクを組むなら、数値の確認に加えて「狙った言語で確実に応答させる」設定も要ります。Claudeの多言語対応ページは、応答言語は会話から推測されるものの、本番のアプリケーションでは目標言語を明示するよう示しています。置き場所はシステムプロンプトが最も確実です。会話のどのターンでも指示が変わらないためです。

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-opus-5-5",
    "max_tokens": 1024,
    "system": "Always respond in French, regardless of the language the user writes in.",
    "messages": [
      {"role": "user", "content": "How do I reset my password?"}
    ]
  }'

同じページのBest practicesは、次の3点です。

アプリケーションが実行時に言語を選ばせる場合は、Claudeの推測に任せず、選ばれた言語をシステムプロンプトに差し込みます。プロンプトの組み立て方や用語集の使い方など実務の手順はClaude翻訳ワークフローにあります。ChatGPT側の料金・機能を含めた総合比較はClaudeとChatGPTの比較2026にあります。

Claudeの対応言語の範囲についても、ページには考え方が書かれています。標準的なUnicode文字を使う世界のほとんどの言語を入出力でき、話者の多い言語ほど性能が高く、デジタル資源の少ない言語でも実用的な能力を保つ、という内容です。ベンチマークの14言語に入らない言語は、実際の用途でテストするよう案内されています。同ページの次の手順には、出荷前に翻訳とローカライズの品質を評価すること、モデル階層を比べて多言語の品質とコスト・遅延の釣り合いを取ることが挙がっています。

翻訳用途での使い分け早見表

まとめ

翻訳精度の優劣は、2社の公開データからは決められません。比べるなら、平均ではなく翻訳する言語の列で見るのが実態に近くなります。実際の訳文の質は、業務で使う文書に近いサンプルを自分で訳させて確かめるのが確実です。