Claudeの自己認識を測った論文 — 知識の限界をどう捉えるか

Claude自己認識論文が示したこと

2022年7月11日にAnthropicが公開した論文「Language Models (Mostly) Know What They Know」は、言語モデルが自分の出した答えの正しさを、どの程度自己評価できるかを検証した研究です。ハルシネーション(もっともらしい誤情報の生成)対策の基礎研究として位置づけられており、著者にはDario Amodei氏やSam Bowman氏など、後にAnthropicの中核メンバーとなる研究者が名を連ねています。

論文の結論を先に言うと、モデルは自分の知識の限界を、完全にではないが「おおむね」把握しているという、タイトルどおりの結果です。

2つの自己評価手法 — P(True)とP(IK)

論文は自己評価の方法を2種類に分けて検証しています。

P(True)は、モデルにまず回答を出させ、その回答自体を評価対象として「これは正しいか」を自己採点させる手法です。P(IK)はさらに一段抽象的で、具体的な回答を出す前に「この質問なら自分は答えられそうか」を予測させます。

モデルは自分の正解率を予測できるのか

論文はまず、選択式(multiple choice)や真偽問題で、大規模なモデルほど正しくキャリブレーション(較正)されていることを示しました。キャリブレーションとは、モデルが「80%の確信度がある」と答えたとき、実際にその集団の約80%が正解している状態を指します。適切なフォーマットで問題を与えれば、大規模モデルはこの意味で自分の自信の度合いを正確に見積もれるということです。

この結果を土台に、自由記述式(open-ended)のタスクでも同じ発想を応用できないかを論文は検証しています。まずモデルに回答を提案させ、その回答が正しい確率P(True)を予測させる方式です。この手法は多様なタスクで良好な性能・キャリブレーション・スケーリング(モデルが大きくなるほど改善する傾向)を示したと報告されています。

自分のサンプルを複数見ることで自己評価が向上する

P(True)の性能は、モデル自身が生成した複数の候補サンプルを比較材料として与えるとさらに向上したとされています。1つの回答案だけを見て「これは正しいか」を判断するより、同じ質問に対する自分の別解をいくつか並べて検討させたほうが、精度の高い自己評価ができるということです。これは、自己評価が単なる後知恵の帳尻合わせではなく、複数の可能性を比較する推論プロセスとして機能しうることを示唆しています。

「知っているかどうか」を先に予測するP(IK)

論文の後半では、より野心的な目標に取り組んでいます。特定の回答案を提示する前に、「この質問に自分は正しく答えられるか」というP(IK)を直接予測できるようモデルを訓練する実験です。

結果として、モデルはP(IK)の予測でも良好な性能を示し、異なるタスク間である程度汎化する(あるタスクで学んだ「知っているかどうかの感覚」が、別のタスクにもある程度通用する)ことが分かりました。ただし、未知の新しいタスクに対するP(IK)のキャリブレーション(確信度の正確さ)には苦戦したとも報告されています。既存のタスクでは自分の限界をうまく把握できても、まったく新しい種類の問題に直面すると、その感覚がそのままでは通用しにくいということです。

文脈のヒントに応じてP(IK)は適切に変化する

もう一つの重要な発見は、P(IK)の予測値が文脈に応じて適切に変動するという点です。具体的には次の2つの条件で確認されています。

• 質問に関連する資料(source materials)が文脈中に存在するとき
• 数学の文章題で、解法へのヒントが与えられているとき

いずれの場合も、モデルが予測するP(IK)は適切に上昇したとされています。つまり「今なら答えられそうだ」という感覚が、実際に答えを導く助けになる情報の有無と連動して動いているということです。これは、P(IK)が単なる固定的な自己イメージではなく、与えられた文脈を反映した動的な予測であることを示しています。

P(True)とP(IK)を分けて考える意味

2つの手法を分けて検証したこと自体に意味があります。P(True)は「すでに出した答えを検証する」タスクで、いわば後付けの採点です。一方P(IK)は「答えを出す前に、答えられそうかを見積もる」タスクで、質問を見た瞬間の直感に近い判断です。

実運用に置き換えると、この違いは対応する場面が変わります。P(True)型の自己評価は、モデルが一度回答を生成したあとに「この回答は本当に正しいか」を再チェックする用途に向いています。P(IK)型は、回答を生成する前の段階で「この質問には自信を持って答えられない」と早期に判断し、無理に答えを作らずに済ませる用途に向いています。論文が両方を独立に検証しているのは、ハルシネーション対策が「事後チェック」と「事前の判断」という異なる2つの介入点を持ちうることを示しているとも読めます。

研究の限界と読み解く際の注意点

この論文は2022年7月の公開で、検証対象のモデルは当時のAnthropic社内モデルです。現在のClaudeシリーズとはアーキテクチャや訓練手法が大きく異なるため、論文中の具体的な数値(正解率やキャリブレーションの精度)がそのまま現行モデルに当てはまるわけではありません。論文が示したのは「自己評価という発想が原理的に機能しうる」という土台であり、個別の性能数値を今のClaudeの挙動の根拠として引用するのは適切ではありません。

またP(IK)の検証で「新しいタスクへのキャリブレーションに苦戦した」という結果は、自己認識能力に上限があることも同時に示しています。モデルが「知っていると思っているのに実際は間違っている」状況は、この論文の枠組みの中でも完全には解消されていません。過信(overconfidence)の問題が残る以上、モデルの自己申告する確信度だけを根拠に情報の正しさを判断するのは危険です。

なぜこの研究がハルシネーション対策の土台になるのか

この論文が重要視されている理由は、モデルの誠実さ(honesty)を訓練する上での前提条件を扱っているからです。もしモデルが自分の知識の限界をまったく把握できないなら、「分からないときは分からないと言う」という訓練目標自体が成立しません。論文の結果は、少なくともある程度は自己評価が機能することを示し、より誠実なモデルを訓練するための足がかりになるとAnthropicは位置づけています。

論文の要旨は、この観察が「人間の文章を模倣する以外の目的で訓練されたモデルにおいて、誠実さがどう汎化するかを調査するための基盤」になることも期待していると述べています。単に既存モデルの性質を測定するだけでなく、今後の訓練手法の設計に活かす狙いがあったことが読み取れます。

現在のClaudeとのつながり

この論文が公開された2022年当時、Anthropicはまだ「Claude」を一般公開していませんでした。しかし、ここで検証された「自分の知識の限界を把握する」という能力は、今日のClaudeが不確かな情報に対して断定を避けたり、分からないことを分からないと答えたりする挙動の研究的な土台の一つです。Claude APIを使ってハルシネーションを減らす実装パターンに関心がある場合は、Claude APIでハルシネーションを削減する実装パターンも参考になります。Claudeが存在しない情報を作り出してしまう具体的な事例への対処は、Claudeが「存在しないリンク」を送ったと言う理由で扱っています。

よくある質問

この論文はChatGPTなど他社モデルにも当てはまるか

論文自体はAnthropicの当時のモデルで実験したものですが、キャリブレーションや自己評価という現象自体は特定の企業のモデルに固有のものではありません。ただし、モデルごとに訓練データや手法が異なるため、自己評価の精度がどの程度かは個別に検証が必要です。この論文が示したのはあくまで「モデル規模と手法次第でこの能力が確認できた」という事例です。

P(IK)を使えばハルシネーションは完全になくせるか

なくせません。論文自体が、新しいタスクへのキャリブレーションに課題を残したと明記しています。P(IK)は「答えられそうか」の見積もりの精度を高める手法であって、その見積もりが常に正しいことを保証するものではありません。過信によるハルシネーションのリスクは、この手法を使っても残ります。

まとめ

「Language Models (Mostly) Know What They Know」は、言語モデルの自己評価能力を体系的に検証した2022年の研究です。要点は次の3つです。

• 選択式・真偽問題では、大規模モデルほど確信度が実際の正解率とよく一致する(キャリブレーションが良い)
• 自由記述式タスクでは、回答案の正しさを予測するP(True)と、質問に答えられるかを事前に予測するP(IK)の2手法を検証し、いずれも一定の性能を示した
• P(IK)は新しいタスクへの汎化やキャリブレーションに課題を残しつつも、文脈のヒントに応じて適切に変動することが確認された

タイトルの「Mostly(おおむね)」が示すとおり、モデルの自己認識は完璧ではないものの、無視できない精度で機能している、というのがこの論文の核心です。