ClaudeにMQMで翻訳品質評価をさせる手順 — 誤訳の分類と重大度で採点する

ClaudeにMQMで訳文を採点させるとき、先に決めておくこと

「この訳、どのくらい良い?」とClaudeに聞くと、もっともらしい講評は返ります。ただ、翌日に同じ訳文を聞き直すと評価が変わり、別の訳文と比べても基準がそろいません。

MQM(Multidimensional Quality Metrics)は、この問題に向く翻訳品質評価の枠組みです。誤りを分類表に沿って1件ずつ記録し、重大度に応じた減点を合計して点数にします。MQM Councilは、人の訳だけでなく機械翻訳やAI生成の翻訳も評価の対象にできると説明しています。

ClaudeにやらせるのはMQMの前半、つまり誤りの発見と分類です。点数の計算は後ろで手元のコードに任せます。

評価を始める前に、次の3つを決めます。

MQMの入門ページでも、評価は仕様の合意、誤りの注釈、スコア算出と分析の3段階で進むと説明されています。Claudeを使っても、この順序は変わりません。

誤訳・不自然・用語違反はMQMのどのカテゴリに入るか

MQMの誤りの分類表(エラータイポロジー)は、7つの大分類を持つ階層構造です。たとえばAccuracyの下にAddition・Mistranslation・Omissionがあり、Mistranslationの下にさらに細かい型があります。

実務では、あらかじめ決まった部分集合のMQM Coreを使うのが定番です。MQM Coreは上位2階層のうち広く使われる型を集めたもので、デフォルトとして使えば最も比較しやすいとされています。

日本語の評価現場でよく出る言い方を、7分類に当てはめると次のようになります。

Linguistic conventionsは、MQM 1.0ではFluencyと呼ばれていた分類です。Audience appropriatenessも旧版ではVerityでした。古い資料や既存の採点表にFluencyとあれば、Linguistic conventionsと同じ位置を指します。

MQMのAccuracyは「事実として正しいか」ではない

MQMのAccuracyは、原文と訳文の対応関係を指します。原文が事実と違っていても、訳文が原文どおりならAccuracyの誤りにはなりません。

Claudeにこの違いを伝えないと、世間的な事実確認を始めてしまいます。プロンプトには「原文との対応だけを見る」と一文入れておきます。

どの分類に入れるか迷う誤りには、MQMの決定木(デシジョンツリー)が用意されています。分類に迷った例は、評価の指示文へ判断例として足していくと揺れが減ります。

重大度の定義をそのまま渡して、物差しをそろえる

分類と並んで評価を左右するのが重大度です。MQMのサンプル採点表は、4段階を使っています。

倍率は0・1・5・25で、段階ごとに指数的に増えるのが推奨です。Criticalが1件でもあれば自動的に不合格とする運用が多い、とも説明されています。

重大度の定義文は、MQMの定義を日本語に直し、そのままClaudeに渡します。「重大な誤り」のような曖昧な言葉だけで頼むと、Claudeの基準がその都度ぶれます。

プロンプトの重大度の部分は、次のように書きます。定義はMQMの記述の要旨を筆者が日本語に直したものです。

重大度は次の4段階から選んでください。
- neutral: 好みの違い。訳としては許容できる。
- minor: 用途上の理解や信頼性を大きくは損なわないが、
  正確さ・一貫性・読みやすさに限定的な影響がある。
- major: 意味の大きな欠落や変化、または目立つ位置の誤りで、
  内容の理解・信頼性・利用を深刻に損なう。
- critical: 内容全体を用途に使えなくする、
  または身体・金銭・評判への重大な害につながる。
迷ったら、より重い段階ではなく根拠を書いてください。

最後の一文は、重く見積もる癖への対策です。判定に根拠欄を設けると、後から人が見直しやすくなります。

誤りを1件ずつJSONで出力させるプロンプト

Claude APIの評価設計ガイドは、LLMに採点させるときのコツを3つ挙げています。詳細で明確な採点基準を持つこと、「correct / incorrect」や1〜5のように答えの形を絞ること、採点の前に推論させることです。

MQMへの当てはめ方は次のとおりです。

• 詳細な基準: カテゴリと重大度の定義をそのまま渡す
• 答えの形を絞る: 誤り1件を、決まった項目のJSONで出させる
• 推論させる: 判定の前に、該当箇所と理由を書かせる

プロンプトの全体像は、次のとおりです。{...} の部分に自分の原文・訳文・用語集を入れます。

あなたは翻訳品質の評価者です。MQMの枠組みで、訳文の誤りを
1件ずつ洗い出してください。
 
評価の仕様:
- 言語方向: 英語から日本語
- 文書の種類: {例: 製品マニュアル}
- 使うカテゴリ: accuracy / terminology / linguistic / style
- Accuracyは原文との対応だけを見る。事実の正誤は判定しない。
- 用語は添付の用語集を正とする。
 
{上の重大度の定義}
 
出力規則:
- 誤りごとに、原文の該当箇所と訳文の該当箇所を引用する。
- 判定の根拠を1文で書く。
- 誤りが見つからない場合は errors を空配列にする。
- 点数や合否は計算しない。
 
出力はJSONのみ:
{"errors": [{"source_span": "", "target_span": "",
  "category": "", "subcategory": "", "severity": "",
  "reason": ""}]}
 
原文:
{原文}
 
訳文:
{訳文}

「点数や合否は計算しない」と書くのが肝です。理由は次の節で説明します。

出力のJSONは、例えば次のような形になります。以下は形式を示すための架空の例で、Claudeの実際の出力ではありません。

{"errors": [
  {"source_span": "within 30 days",
   "target_span": "30営業日以内に",
   "category": "accuracy", "subcategory": "mistranslation",
   "severity": "major",
   "reason": "daysを営業日と訳しており、期限が長くなる。"},
  {"source_span": "Terms of Service",
   "target_span": "ご利用規約",
   "category": "terminology", "subcategory": "inconsistent",
   "severity": "minor",
   "reason": "用語集では「サービス利用規約」。"}
]}

点数はClaudeに計算させず、手元のコードで出す

採点の計算式は決まっています。同じ入力なら同じ答えが出る処理は、コードに任せるほうが安定します。同じガイドは、採点方法の中でコードによる採点を最も速く信頼できる方法と位置づけています。

MQMの計算の骨組みは次のとおりです。

1. 誤り1件の減点 = 重大度の倍率 × カテゴリの重み(既定は全カテゴリ1)
2. 減点の合計(Absolute Penalty Total)を出す
3. 評価語数で割り、1,000語あたりに換算する(Normed Penalty Total)
4. 生スコア = 100 − 減点合計 ÷ 評価語数 × 100

Pythonで書くと、次のとおりです。

SPM = {"neutral": 0, "minor": 1, "major": 5, "critical": 25}
ETW = {"accuracy": 1, "terminology": 1, "linguistic": 1, "style": 1}
EWC = 500          # 評価語数
APP = 10           # 1,000語あたりの許容減点
 
errors = [  # 前の節のJSONを読み込んだもの(ここでは例)
    {"category": "accuracy", "severity": "major"},
    {"category": "accuracy", "severity": "minor"},
    {"category": "terminology", "severity": "minor"},
    {"category": "terminology", "severity": "minor"},
    {"category": "terminology", "severity": "minor"},
    {"category": "linguistic", "severity": "minor"},
    {"category": "linguistic", "severity": "minor"},
    {"category": "style", "severity": "neutral"},
]
 
apt = sum(SPM[e["severity"]] * ETW[e["category"]] for e in errors)
npt = apt * 1000 / EWC
raw = 100 - apt / EWC * 100
critical = any(e["severity"] == "critical" for e in errors)
print(apt, npt, round(raw, 1),
      "FAIL" if critical or npt > APP else "PASS")

このコードを実行すると、11 22.0 97.8 FAIL と出力されます。

500語の訳文に、Major 1件・Minor 6件・Neutral 1件の誤りがあった想定です。減点は5 + 6 = 11点で、1,000語あたりでは22点になります。

生スコアと調整後スコアで合否の見え方が変わる

この例の生スコアは97.8です。99を合格ラインにした場合は不合格ですが、97.8という数字だけでは深刻さが伝わりません。生スコアは、品質が高い翻訳ほど100付近の狭い範囲に固まります。

この問題への対処が調整(キャリブレーション)です。「1,000語あたり10点まで」という許容を、合格ライン90に対応させる方式です。スコアリングモデルの例では、減点が1,000語あたり10点のとき90点になり、10点を超えると90を下回って不合格です。

この例の換算では、減点1点が1ポイントに対応します。筆者の計算では、100 − 22 = 78点です。合格ラインの90を12ポイント下回るので、不合格が一目で伝わります。

重みの付け方もここで決まります。法務や医療のように誤訳のリスクが大きい文書は、Accuracyの重みを上げます。ブランドの語り口が大事な広報文なら、StyleとAudience appropriatenessの重みを上げます。重みと調整の設定は、必ず記録に残します。設定が違う評価同士は、点数を直接比べられません。

同じ訳文を2回採点させて、評価の揺れを確かめる

ClaudeのMQM評価で最も確認したいのは、同じ訳文で結果が安定するかどうかです。MQMのReliabilityのページは、人間の評価者でも訓練が足りないと一致度が低くなると述べています。AIの評価者にも、同じ確認が要ります。

手順は単純です。

1. 同じ原文・訳文・指示で、別々の会話から2〜3回採点させる
2. 誤りの一覧を並べ、件数・カテゴリ・重大度の食い違いを数える
3. 点数を計算し、合格ラインをまたぐかを見る

見る項目は次の3つです。

同じページには、示唆に富む指摘があります。人の分析的評価では、個々の分類と重大度の一致度が低くても、最終的な品質評価の一致度は比較的高いことがあるというものです。Claudeの評価でも、細部の分類がずれたまま合否は同じ、という結果になる可能性があります。ただし、これがClaudeに当てはまるかは、自分の訳文で確かめるまで分かりません。

同ページには、2人の評価者の点数が76.85と81.99という例があります。一致度は約93%ですが、合格ラインが80なら、片方が不合格、もう片方が合格になります。一致度の高さだけで安心せず、合格ラインとの位置関係で見る必要があります。

さらに、1回の評価だけでは工程の判断材料にならないとも書かれています。1本の訳文を何度も採点するのは費用がかさむので、実運用では異なるサンプルを繰り返し評価し、合格が続くかを見ます。

揺れが大きいときは、人が付けた正解の注釈を用意します。10〜20件の誤りを人が分類し、Claudeの出力と突き合わせれば、どのカテゴリで食い違うかが分かります。その結果を判断例として指示文に戻し、再び2回採点で確認します。

長い訳文は、抜き取りで評価する

訳文が長ければ、全文の評価は費用も時間もかかります。MQMのガイダンスは、最も安全なのは全文の評価だと述べつつ、費用対効果から抜き取りで行うことも多いと説明しています。採点表の解説では、評価者が扱う抜き取りの規模は500〜20,000語が多いとされています。

抜き取りの方式は、MQMのSamplingのページに整理されています。

• 全文抜き取り: 選んだ文書は全文を見る。結束性の問題も拾える
• 部分抜き取り: 各文書から一部のかたまりを見る。ランダムに選ぶ方法と、層別に選ぶ方法がある

層別では、見出しや要約などの目立つ箇所、表や脚注のような地の文でない箇所、翻訳メモリで一致しなかった新規の訳、翻訳者が迷いを記した箇所、機械翻訳のままの箇所を厚く見る、といった切り方が挙げられています。

Claudeに評価させる場合は、抜き取りのかたまりごとに別の会話で評価させると、前の判定に引きずられません。一方で、長い文書の途中だけ渡すと、前後の文脈が必要な結束性の誤りは拾えなくなります。同ページは、その誤りは評価者が全文を参照でき、誤りの位置が抜き取りに入っている場合だけ拾えると書いています。

同ページは、文章が統計的に均一ではない点も課題に挙げています。抜き取りの結果は、全文の品質の推定として読みます。

Projectsに物差しを置くと、毎回の評価がそろう

繰り返し使う評価の物差しは、Claudeのプロジェクト機能に置くのが向いています。プロジェクトは専用のチャット履歴とナレッジベースを持つ作業空間で、文書をアップロードして文脈を与えられます。カスタム指示を設定でき、口調や専門分野の立場も指定できます。

評価の用途では、次のように分けて置きます。

こうしておけば、評価のたびに仕様を貼り直す必要がなく、評価者(ここではClaude)に渡る基準が毎回同じになります。有料プランでは、ナレッジが文脈の上限に近づくと、RAGモードで容量が最大10倍まで広がります。判断例が増えても入れられます。

評価の仕様を変えたら、日付とともに記録します。重み・倍率・合格ラインが変わった評価は、変更前の点数と直接比べられないからです。

用語集の作り方はClaude翻訳ワークフローに詳しくあります。英文プレスリリースを題材にした用語集の運用はClaudeで英文プレスリリースを翻訳する手順で扱っています。

よくあるつまずき

評価でつまずきやすい点をまとめます。

• 修正案まで一緒に出させて、評価が甘くなる: 評価と修正は別の会話に分けます。修正は、評価の結果を渡して別に頼みます
• 原文の誤りを訳文の誤りに数える: Accuracyは原文との対応だけ見る、とプロンプトに書きます
• 好みの違いをMinorに入れる: 許容できる違いはNeutralに逃がす選択肢を用意します
• 点数だけを見て合否を決める: Criticalが1件でもあれば不合格にするなど、合否のルールをコードに入れます
• 評価した本人が訳した文を採点する: 自分が訳した文を自分で採点すると、見落としが重なりやすくなります。翻訳した会話とは別の会話で評価し、可能なら人の目を足します

翻訳そのものの正確さの確かめ方は、ビジネス文書の翻訳精度を実例で検証した記事にまとまっています。DeepLなど翻訳エンジンとの連携は、ClaudeとDeepLの連携で扱っています。

まとめ

ClaudeのMQM評価は、「誤りを探して分類する係」と「点数を出す係」を分けると安定します。前者はClaude、後者はコードです。

最初の一歩は、手元の訳文500語ほどを2回採点させることです。誤りの一覧と合否を並べ、食い違った箇所を指示文の判断例に戻します。この往復が、自分の文書でClaudeの評価を信頼できるかの確認になります。信頼できると決めるのは、人が付けた注釈との突き合わせで、ばらつきが許容範囲に収まってからです。