Claudeは関西弁など方言をどこまで正確に書けるか

Claudeに関西弁での作文と読解を実際に試し、編集部が標準語との精度差を検証しました。典型的な方言マーカー(語尾・助動詞)は自然に使い分けられる一方、地域特有の語彙(「ほかす」「なおす」など)の読解には誤読が見られました。Anthropicの公式ベンチマークは標準的な日本語のみを対象とし、方言別の評価は含まれていません。

公式ベンチマークは「日本語」を1言語としてしか測っていない

Anthropicが公開する多言語対応ドキュメントの評価表は、14言語それぞれについて英語比の相対スコアを示しています。日本語の行は1つだけで、方言や地域差についての記載はありません。評価に使われたMMLU(大規模マルチタスク言語理解)翻訳版も、標準的な書き言葉の日本語を対象にしたテストセットです。

つまり公式データが保証しているのは「標準的な日本語での精度」であり、関西弁のような方言での精度は、公式ドキュメントのどこにも記載がありません。この検証は、その空白を埋めるために編集部が独自に行いました。方言をビジネスやコンテンツ制作で扱いたい担当者にとって、この空白は実務上見過ごせない盲点です。

検証方法 — 作文タスクと読解タスクの2方向でテスト

方言の扱いは「書く」と「読む」で難易度が異なると考え、2方向でテストしました。作文タスクは、標準語で書いた文章を関西弁に書き直させ、方言としての自然さを編集部が判定します。読解タスクは、関西弁の文章を提示して標準語に言い換えさせ、意味の取り違えがないかを確認します。

判定基準は、ネイティブの関西弁話者が読んで違和感が無いかという定性的な観点です。関西弁には地域(大阪・京都・神戸など)や年代によって細かな差があるため、本記事では「広く関西弁として認識される一般的な表現」を基準にしています。テレビや漫才で広く使われ、方言の中でも比較的知名度の高い関西弁を最初の検証対象に選んだのは、学習データ中の出現量が多いと見込まれるためです。出現量の少ない方言ほど精度が下がりやすいという傾向は、この記事の後半で扱う読解タスクの結果とも符合します。

作文タスク — 語尾・助動詞は自然、慣用句はやや教科書的

「今日は仕事が忙しくて、昼ご飯を食べる時間がなかった」という標準語の文を関西弁に書き直させると、次のような出力になります。

「忙しゅうて」(忙しくて)、「なかってん」(なかった、の関西弁的な言い切り)という語尾・助動詞の変化は自然です。「〜へん」(否定)、「〜やん」(念押し)、「せやから」(だから)といった代表的なマーカーも、別の例文で正しく使い分けられました。

一方で、日常会話でよく使われる「なんでやねん」「知らんけど」のような定型フレーズを多用する傾向があり、地の文まで漫才的な語調に寄りがちです。関西弁は日常会話でも淡々と使われる場面が多いため、フレーズを盛り込みすぎると、実際の会話というよりステレオタイプ化された「関西弁っぽい文章」に近づく側面があります。

別のトピックでも同じ傾向を確認しました。「明日の会議の資料をまだ作っていないので手伝ってほしい」を関西弁に書き直させると、次のような出力になります。

「作ってへん」(作っていない)、「手伝うて」(手伝って)という活用は自然です。ここでは定型フレーズへの偏りは見られず、依頼の文脈では素直な関西弁になりました。定型フレーズが増えやすいのは、話者の感情や驚きを表現するタイプの文脈(最初の例のような愚痴・雑談)に偏っている可能性があり、依頼・説明のような実務的な文脈ではむしろ標準語との差は語尾レベルにとどまる傾向があります。

敬語との組み合わせも試しました。「明日までにご確認いただけますでしょうか」を関西弁の丁寧表現に書き直させると、「明日までに確認してもろてもよろしいでしょうか」のような出力になり、関西弁特有のくだけた語尾(「〜へん」「〜ねん」)と丁寧語が同じ文の中で衝突することはありませんでした。ビジネスの場でも使われる、丁寧さを保った関西弁の型を踏まえた出力だと言えます。

読解タスク — 地域特有の語彙で誤読が発生

読解タスクでは、関西弁特有の語彙を含む文をいくつか提示しました。「ほかす」(捨てる)、「なおす」(しまう、片付ける)、「せんど」(長い間、さんざん)、「まける」(値引きする)といった、標準語の同音・類似語と意味がずれる単語です。

「なおす」や「まける」のように、標準語にも同じ音で別の意味を持つ単語がある場合、Claudeは文脈から関西弁の意味を正しく推測できています。一方で「せんど」のように使用頻度が低く、標準語に対応する同音異義語も無い語は、文脈が乏しい単文だと解釈が揺れることがありました。文章全体の文脈が十分にあれば、こうした語彙も正しく読み取れる可能性が高く、今回の揺れは短い単文だけを提示したテスト設計に起因する部分もあります。

文脈を補って再テストすると、この傾向がより明確になります。「せんど待たせてすまんかったな」という単文だけを提示した場合と、「約束の時間に30分も遅れてしもて、せんど待たせてすまんかったな」のように前後の文脈を加えた場合を比較すると、後者では「せんど」を「長い間」の意味で正しく解釈しました。前者だけを単独で見た場合は「先に」に近い意味で解釈されるケースがあり、文脈の有無が読解精度を左右することが確認できます。これは業界専門用語の略語検証で見られた「文脈が無いと解釈が割れる」という傾向と同じ構造で、方言特有というより日本語処理全般に共通する性質だと考えられます。

関西弁を書かせるときのプロンプト設計

関西弁での出力を安定させたい場合、単に「関西弁で書いて」と指示するより、方言のトーンを具体的に指定するほうが実務的です。「漫才のような大げさな関西弁ではなく、日常会話として自然な関西弁で」のように、避けたいトーンを明示すると、定型フレーズへの偏りを抑えられます。Anthropicの公式プロンプトガイドも、システムプロンプトで役割を与えると応答のトーンが定まりやすいと説明しており、関西弁のトーン指定はこの一般原則の応用と言えます。応答言語や文体をシステムプロンプトで安定させる方法はClaudeの応答言語をシステムプロンプトで固定する方法にまとめています。

顧客対応や会話システムで方言表現を扱う場合は、地域や年代によって語彙が異なる点にも注意が必要です。今回の検証は「広く関西弁として認識される表現」を基準にしており、大阪弁・京都弁・神戸弁のような地域差までは区別していません。

方言をまたぐ精度差はどこまで広がるか

関西弁以外の方言でも同様の傾向が見られるかを簡単に確認するため、博多弁で「〜ばい」「〜たい」といった代表的な語尾を使った作文を試したところ、関西弁と同様に語尾・助動詞は自然に使い分けられました。一方、地域特有の語彙(「がめつか」=貪欲だ、など)は、関西弁の「せんど」と同じく単文だけでは解釈が揺れる場面がありました。

この傾向から見えるのは、方言の再現精度は「語尾・助動詞のパターン」と「語彙そのもの」で分けて考える必要があるということです。語尾・助動詞は各方言に典型的なパターンが限られており、学習データ中の出現頻度が一定確保されやすいのに対し、地域特有の語彙は種類が多く、個々の出現頻度は低くなりがちです。この構造は、Claudeは金融・医療・IT業界の専門用語をどこまで正確に理解できるかで確認した「フルスペルの専門用語は正確、業界をまたぐ略語は文脈依存」という傾向と似た構図です。

よくある質問

方言での出力を業務のチャットボットなどに使っても大丈夫ですか

今回の検証は編集部による1回限りの定性的な観察であり、網羅的な精度保証ではありません。特に注意したいのは、地域特有の語彙を含む短い応答(定型文・ステータスメッセージなど)です。文脈が短いほど誤読が起きやすいという傾向が読解タスクで確認できたため、こうした用途では事前に想定語彙を洗い出し、個別に確認しておくことが実務上の安全策になります。

まとめ

Claudeは関西弁の語尾・助動詞・代表的なマーカー語彙を自然に使い分けられる一方、「ほかす」「せんど」のような地域特有の語彙は、文脈が乏しいと解釈が揺れることがあります。公式の多言語ベンチマークは標準的な日本語のみを対象としており、方言での精度は今回のような個別の検証でしか確認できません。方言を使った出力を業務で使う場合は、定型フレーズへの偏りを避けるトーン指定と、地域・年代による語彙差への注意が実務上のポイントになります。Claudeの日本語対応そのものの公式データはClaudeの日本語精度を公式データとベンチマークで読む、言語別の相対スコアはClaudeの多言語性能を言語別データで見るで確認できます。