Claudeの日本語精度を公式データとベンチマークで読む

Claudeの日本語精度を一言で表す数字はありません。Anthropicが多言語対応のページで示すのは、英語を基準100%とした相対スコアです。Claude Sonnet 4.5の日本語は96.8%でした(実例検証はClaudeの翻訳精度をビジネス文書の実例で検証するを参照)。日本語ネイティブの公開ベンチマーク「Nejumiリーダーボード」では、Claude Opus 5が9月1日版の総合ランキングで1位、リーダーボード初の0.87台(0.8720)に乗りました。

この2つの数字は、測っている対象がそもそも違います。しかも、どちらにも最新世代のOpus 5.5・Sonnet 5.5・Fable 5.1は入っていません。

Claudeの日本語精度に「唯一の数字」がない理由

「日本語精度」という言葉には、2つの問いが混ざっています。「Claudeは英語と同じくらい日本語が得意か」と、「ClaudeはGPTやGeminiより日本語が得意か」です。前者はAnthropicの相対スコア、後者は第三者ベンチマークのNejumiが答えます。

くらべる

二つの物差しの違い

Anthropic

英語比の相対スコア

• 比べる相手は、そのモデル自身の英語での成績
• 日本語が英語よりどれだけ落ちるかを見る
• 他社モデルとは並べていない
• 表にあるのはSonnet 4.5とHaiku 4.5

W&B Japan

Nejumiの総合スコア

• 比べる相手は、GPT・Gemini・Qwenなど他社を含む全モデル
• 日本語で出題された問題の絶対的な出来を見る
• 総合順位は評価のたびに入れ替わる
• 最新の9月1日版にはOpus 5・Fable 5が載る

Nejumiは、Weights & Biases Japanが運営する日本語LLM評価プラットフォームです。2025年8月27日の発表では「日本最大級のLLM日本語能力比較サイト」と紹介されました。総合スコアはGLP(汎用的言語性能。翻訳・要約・推論・コーディング)とALT(アラインメント。毒性・バイアス・真実性)の2軸でできています。

英語比96.8%は何を測っているか

相対スコアの出どころは、MMLU(大規模マルチタスク言語理解)の英語版テストセットです。プロの翻訳者が14言語に訳したセットを、拡張思考つきのゼロショット・チェーンオブソート(段階的に考えさせる方式)で解かせ、英語の成績を100%としたときの割合で示しています。機械翻訳でなく人手翻訳を使うのは、資源の少ない言語でも訳の質を保つためです。

上の表は公式の14言語から9言語を抜粋したものです。14言語の中で日本語はSonnet 4.5で9番目、Haiku 4.5で8番目で、ポルトガル語・イタリア語・インドネシア語・アラビア語が日本語より上に来ます。ドイツ語との差はSonnet 4.5で0.2ポイント、Haiku 4.5で0.8ポイント。スペイン語やフランス語には届きませんが、韓国語・ヒンディー語とは同じ層に並びます。低リソース言語のスワヒリ語・ヨルバ語とは大きく離れており、日本語を「弱い言語」として扱う理由は、この表からは出てきません。

モデルの大きさによる差も出ています。英語からの落ち幅は、日本語でSonnet 4.5が3.2ポイント、Haiku 4.5が6.5ポイントです。ヨルバ語ではHaiku 4.5が47.3ポイント落ちており、軽量モデルほど、言語が変わったときの落ち込みが大きくなります。日本語を大量に処理するためにHaiku 4.5を選ぶなら、この約3ポイントの差は織り込んでおく価値があります。

見落としやすいのは、この数字が測る中身です。MMLUは多肢選択式の知識問題で、敬語の使い分けや文体の自然さは採点に入りません。96.8%は「知識問題を日本語で出しても、英語のときから3.2ポイントしか落ちない」という意味にとどまります。

Sonnet 5.5やOpus 5.5の日本語が英語比で何%かは、この表から読めません。世代が変わっても同じ水準だと推定することはできますが、数字としては存在しないものとして扱うのが安全です。

Nejumi 9月1日版でClaudeはどこにいるか

Nejumiの数字を読みやすく分析しているのが、Qualitegの月次レポートです。9月1日版の総合上位は次の並びでした(かっこ内は推論設定)。

上位5枠のうち4枠をAnthropicのモデルが占めています。0.85以上のモデルは前回の2つから5つに増えました。首位のOpus 5は、内訳を見ると偏りがはっきりしています。

数字

Opus 5の内訳(9月1日版)

• 総合

  0.8720

  リーダーボード初の0.87台

• GLP(言語性能)

  0.8668

  全モデル中トップ、2位と0.017差

• コーディング

  0.9081

  SWE-Bench系は0.7500

• 数学的推論

  0.9817

  抽象的推論は0.96

順位を分けているのは「日本語が自然か」よりも、日本語で出題された難問を解く地力です。Nejumi 4は、従来のベンチマークでスコアが飽和し、モデル間の差が見えづらくなっていたため、高難度の推論・専門知識・コーディング・関数呼び出しを足して作られました。W&B Japanの発表では、翻訳は「ほぼ攻略済」で、数学的推論が差別化領域、抽象的推論・コーディングなどがフロンティア領域とされています。日本語の自然さそのものを競う場ではありません。

他社との比較では、項目ごとに強さが入れ替わります。GPT-5.6のterra(0.8440、7位)とsol(0.8499、6位)は、抽象的推論でそれぞれ0.98・0.97と、Opus 5の0.96を上回って全モデル中の最高値でした。一方で真実性はsolが0.752、terraが0.709と、上位モデルの中では低めです。これが総合スコアを抑えています。総合順位は、推論の切れ味と安全側の評価を足し合わせた結果です。

首位の推移を並べると、この1年弱の動きが見えます。

あゆみ

NejumiでのClaudeの位置

1. 2025年12月18日版

   首位はGPT-5.2(0.8285)。Opus 4.5が4位(0.8064)で、前回首位だったOpus 4.1(0.7992)は5位に下がりました。スコアが落ちたのではなく、他社の新モデルに追い越されたためです。

2. 2026年7月10日版

   Opus 4.8(0.8523)が首位に立ち、Opus 4.7(0.8509)が2位。Fable 5はまだ評価に入っていませんでした。

3. 2026年9月1日版

   Opus 5とFable 5が1・2位。前回の首位から約0.02上がりました。

Fable 5の2位は、Fable 5単体の順位ではない

Fableは、Opusの評価で足りないときの上位の選択肢にあたるモデルですが、Nejumiでは首位を逃しました。差は0.0021です。見落としやすいのは評価設定です。リーダーボード上のFable 5は「adaptive-thinking-max with fallback to Opus 4.8」、つまりOpus 4.8へのフォールバックを含む構成でした。Qualitegも、この値をFable 5単体の性能として読まないよう注意しています。

この構成の評価値は、ALT(アラインメント)が0.9071、SWE-Bench系が0.8000で、どちらも全エントリー中の最高値でした。ただしコーディングのサブカテゴリ(SWE-BenchにJHumanEvalとMT-Bench(coding)を合わせたもの)では、Opus 5の0.9081に対し0.7220まで下がります。同じ「コーディング力」でも、何を測るかで順位が逆転するわけです。Fable 5とOpus 5の使い分けは、料金やデータ保持も含めてFable 5とOpus 5の違いで比べています。

相対スコアと絶対順位が食い違う場面

同じSonnet 4.5が、2つの物差しで正反対に見えます。英語比では96.8%と高く、Nejumiの9月1日版では50位(0.7954)です。Opus 4.1も44位(0.7992)、Sonnet 4.6は24位(0.8230)でした。

矛盾ではありません。相対スコアは分母が「そのモデル自身の英語の成績」なので、英語の時点で難問を解けないモデルでも、日本語で同じだけ落ちなければ高く出ます。Nejumiの絶対値は、他社の新モデルが増えるほど押し下げられます。Qualitegによれば、0.80以上のモデルは前回の19から42に増えています。同じレポートの用途別の推奨では、Sonnet 4.6が「コスト効率と性能の両立」の枠(総合0.82〜0.83級、大量処理・日常業務向け)に入っています。

知りたいことに合わせて、見るデータを選びます。

日本企業の導入では、この「自社文書での検証」が実務の中心になります。野村総合研究所は2026年2月24日、Anthropic Japanとのパートナーシップ拡大を発表しました。2026年1月から日本市場向けのClaude導入支援サービスを整備し、Claude for EnterpriseをAmazon Web Services経由で自社にも導入するという内容です。発表文は、日本市場特有の言語特性やセキュリティ要件、規制対応に適した導入支援が求められている、と述べています。

自社の文書で日本語精度を確かめる手順

Anthropicの多言語ページには、数字とは別に、精度を上げるための実務的な指針があります。この指針を順に当てはめると、自社文書での検証の手順になります。

手順

日本語の出力品質を確かめる流れ

1. 1

   出力言語をシステムプロンプトで固定する

   Claudeは会話から応答言語を推測しますが、本番ではシステムプロンプトでの明示が最も確実とされています。たとえば次のように書きます。

   常に日本語で回答してください。ユーザーが英語で質問しても日本語で答えます。

   翻訳に使うなら、同じページの例にならって言語の組を両方書きます。「ユーザーのメッセージを英語から日本語に翻訳してください。翻訳だけを返してください」といった形です。

2. 2

   日本語ネイティブの書き方を求める

   流暢さを上げたいときは、「ネイティブスピーカーが書いたような自然な言い回しで」と指定する方法が挙げられています。

3. 3

   入力は日本語の表記のまま渡す

   ローマ字などの転写でなく、元の文字で入力したほうが良い結果になるとされています。旧字体や人名用漢字を扱うときのコツはClaudeで旧字体・人名用漢字を確実に扱うコツにあります。

4. 4

   自社の文書サンプルで出力を見比べる

   業界用語・社内用語・敬語の揺れは、数値からは分かりません。翻訳用途ならClaude翻訳ワークフローの手順で、原文と訳文を並べて検証します。

モデル体系の全体像はClaude(クロード)とはで、他社との違いはClaudeとChatGPTの比較2026で確認できます。

まとめ

日本語が英語比で落ちる幅を知りたいなら相対スコア、他社と並べた順位を知りたいならNejumiと、問いごとにデータを選びます。業務で使うモデルの日本語は、自社の文書で試した結果が最終的な根拠になります。