ClaudeとChatGPTを翻訳精度で比較する — 多言語ベンチマークで見る違い

ClaudeとChatGPT、どちらが翻訳に強いかを一発で答えるスコアはありません。両社とも「翻訳精度」という単独のベンチマークは持たず、代わりに多言語での知識・推論タスクの正答率を出しています。それでもAnthropicとOpenAIのベンチマークは、同じ翻訳済みMMLU(大規模マルチタスク言語理解ベンチマーク)のテストセットを土台にしている点が共通します。この記事では両社のデータを並べ、言語別にどちらがどう崩れるかを見ていきます。

比較の前提 — 「翻訳精度」を測るデータは何か

Claudeの多言語対応ページとOpenAIのsimple-evalsリポジトリは、どちらも英語のMMLUテストセットを専門の人力翻訳者が14言語に翻訳したものを使っています。低資源言語(Yorubaなど)でも翻訳の質を保つため、機械翻訳ではなく人力翻訳者を使ったとそれぞれのページに明記されています。

数値の形式は違います。Anthropicは英語のスコアを100%とした相対値で各言語のパフォーマンスを示し、OpenAIは各言語の絶対的な正答率(0〜1)を示しています。この2つは単位が違うため、そのまま引き算や大小比較はできません。以下では、それぞれの数値を別々の表で示したうえで、両社に共通する傾向だけを比較します。

Claudeの多言語ベンチマーク

Claudeの多言語対応ページには、拡張思考(extended thinking)を有効にしたClaude Sonnet 4.5とClaude Haiku 4.5で、英語を基準(100%)とした相対スコアが掲載されています。

日本語はSonnet 4.5で96.8%、Haiku 4.5で93.5%です。ヨーロッパ言語とアジアの主要言語では英語との差が小さく、スワヒリ語とヨルバ語だけ落差が目立ちます。

OpenAIの多言語ベンチマーク(GPT系モデル)

OpenAIのsimple-evalsリポジトリには、同じ14言語の翻訳済みMMLUで測定した絶対的な正答率が公開されています。全モデルの中から、上位モデル(o3-high)・ChatGPTの標準モデル系統(gpt-4o)・軽量モデル(gpt-4o-mini)の3つを抜き出します。

こちらも同じ2言語(スワヒリ語・ヨルバ語)で正答率が沈み、しかも軽量モデルのgpt-4o-miniほど落差が大きくなります。

Claudeが対応する言語の範囲

多言語対応ページは、ベンチマーク以外にも対応言語の考え方を示しています。要点は3つです。Claudeは標準的なUnicode文字を使う世界のほとんどの言語で入出力を処理できること、パフォーマンスは言語によって差があり、話者数の多い言語ほど強いこと、そしてデジタル資源が少ない言語でも実用的な水準の能力を維持すること、です。ベンチマークの14言語に含まれない言語についても、実際の用途に合わせて個別にテストすることが推奨されています。

2つの表を並べて分かること

単位が違うため数値そのものは比較できませんが、言語別の順位には共通点があります。

低資源言語ほど崩れ方が大きい、という傾向は両社で一致します。Claude・GPT系ともに、14言語中もっとも数値が低いのはヨルバ語で、2番目に低いのがスワヒリ語です。逆にスペイン語・ポルトガル語・イタリア語のような高資源のヨーロッパ言語は、両社とも上位に並びます。

モデルサイズが小さいほど、低資源言語での落差が広がる点も共通します。Claudeではヨルバ語の相対値がSonnet 4.5で79.7%、Haiku 4.5で52.7%と27ポイント差があります。フランス語ではSonnet 4.5とHaiku 4.5の差はわずか1.8ポイントです。GPT系でも同じ形が見えます。ヨルバ語の正答率はo3-highで0.780、gpt-4o-miniで0.458と32ポイント差がある一方、フランス語の差は0.906対0.766の14ポイントにとどまります。

この一致は、翻訳精度そのものの優劣を示すものではありません。ただし低資源言語を扱う翻訳タスクでは、モデルの選択(上位モデルか軽量モデルか)が結果に与える影響が、高資源言語のときより大きくなるという実務上の示唆は、どちらのベンダーのデータからも読み取れます。

応答言語をシステムプロンプトで固定する

翻訳タスクを組む上では、ベンチマークの数値だけでなく「狙った言語で確実に応答させる」設定の手順も重要です。Claudeの多言語対応ページには、この点についてシステムプロンプトでの明示を推奨する手順が載っています。

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-opus-5",
    "max_tokens": 1024,
    "system": "Always respond in French, regardless of the language the user writes in.",
    "messages": [
      {"role": "user", "content": "How do I reset my password?"}
    ]
  }'

挙げられているベストプラクティスは3点です。①出力言語をシステムプロンプトで明示する(会話のたびに変わらない位置に置く) ②原文は音訳せず、原語のネイティブスクリプトのまま渡す ③文意だけでなく文化的な文脈も考慮する必要がある場合はその旨を明示する。2つの言語間で翻訳させる場合は「Translate the user's message from German to Korean」のように、原文の言語と訳文の言語を両方名指しします。訳文の流暢さそのものを上げたいときは、「ネイティブスピーカーのような自然な話し方で」という指示を同じシステムプロンプトに追加する方法もあります。

「ネイティブスクリプトのまま渡す」は、たとえば日本語の原文をローマ字表記に変換せず、そのまま入力するという意味です。音訳を経由すると原文の情報が一部失われるため、翻訳精度が下がる要因になります。「文化的な文脈の考慮」は、逐語訳では意味が伝わりにくい慣用表現や敬語のニュアンスを指します。単純な変換ではなく、対象読者の文化的背景を踏まえた言い回しが必要な場合は、その旨をプロンプトに書き添えます。

アプリケーション側で実行時に言語を選ばせる場合は、Claudeの推測に任せるのではなく、選ばれた言語をシステムプロンプトに動的に組み込みます。ユーザーが入力した言語から自動で判定させるより、明示的に指定したほうが結果が安定するという考え方です。

この設定の実践的な手順(用語集の固定・訳し戻しでの誤訳検出など)はClaude翻訳ワークフローにまとめてあります。ChatGPT側の料金・機能を含めた総合比較はClaudeとChatGPTの比較2026を参照してください。

翻訳用途での使い分け早見表

よくある質問

日本語の翻訳だけで比較するとどちらが有利か

単位が異なるため直接比較はできませんが、両方のベンチマークで日本語は最上位でも最下位でもない中位の言語です。Claude Sonnet 4.5の相対値は96.8%で、フランス語(97.5%)よりわずかに低く、アラビア語(97.2%)に近い位置にあります。gpt-4oの正答率は0.835で、フランス語(0.846)よりわずかに低く、韓国語(0.829)に近い位置にあります。どちらのベンチマークでも、日本語は高資源言語の中でやや下寄りという傾向が共通しています。

ChatGPTでも応答言語をシステムプロンプトで指定できるか

この記事で参照したOpenAIの資料は多言語ベンチマークの数値のみで、応答言語を固定する設定手順は含まれていません。ChatGPT側で同様の制御をしたい場合は、OpenAI自身のプロンプト設計に関する資料を別途確認する必要があります。

無料プランでも同じベンチマークの恩恵を受けられるか

このベンチマークはAPI経由のモデル単体を対象にしたもので、claude.aiやChatGPTのチャット製品でどのプラン・モデルが使われるかとは別の話です。プランごとに使えるモデルは変わるため、料金と機能の対応関係は前段のClaudeとChatGPTの総合比較記事で確認してください。

まとめ

ClaudeとChatGPTの「翻訳精度」を直接比較できるスコアは存在しません。それぞれが公開しているのは、同じ翻訳済みMMLUのテストセットを使った多言語の知識・推論ベンチマークで、Anthropicは英語比の相対値、OpenAIは絶対的な正答率という違う形式で示しています。単位は違っても、低資源言語ほど正答率が落ちる傾向と、軽量モデルほどその落差が広がる傾向は両社で一致します。実際の訳文の質を確認したい場合は、ベンチマークの数値だけで判断せず、業務で使う文書に近いサンプルで試すのが確実です。