Claudeの間違った回答はなぜ起きるのか — 仕組みと減らし方

Claudeの間違った回答、最大の原因は「ハルシネーション」

Claudeが事実と異なる、あるいは誤解を招く回答を返すことがあります。この現象は「ハルシネーション」と呼ばれ、現行のフロンティア生成AIモデルに共通する限界の一部とされています。特定のバグではなく、Claudeを含む現世代のモデルに構造的に伴う性質です。

ハルシネーションとは、もっともらしく見えるが事実に基づいていない情報をモデルが生成する現象です。厄介なのは、誤りが自信を持った自然な口調のまま出てくる点です。読みやすさと正しさは別の軸で、ヘルプセンターも「正しそうに見えて大きく間違っている文章を書くことがある」と説明しています。

知らないことにも答えてしまうのはなぜか

Anthropicの解釈可能性研究(Tracing the thoughts of a large language model)は、この仕組みの一部を内部から調べています。言語モデルの学習は、次の語を常に推測させる形で進みます。そのため出発点では、分からなくても何か答える方向に傾きます。

Claudeにはこれを抑える訓練が施されています。研究は、ハルシネーションをある意味で「自然な」挙動とみなし、それをファインチューニングが和らげていると説明します。研究対象のClaude 3.5 Haikuでは、「情報が足りないので答えられない」と述べる回路が既定でオンになっていることが見つかりました。以下は、この研究の知見であって、現行製品の内部構造を確かめたものではありません。

よく知っている対象(バスケットボール選手のマイケル・ジョーダンなど)を聞かれると、「既知の対象」という特徴がこの回路を抑え、答えが出ます。

研究チームは、この回路を人為的に操作する実験もしています。「既知の答え」の特徴を強めるか、「知らない名前」「答えられない」の特徴を弱めると、Michael Batkinがチェスをすると答えさせることができました。誤答が偶然の言い間違いではなく、答えるか断るかの切り替えの失敗として起こりうることを示す結果です。

読者にとっての含意は1つです。名前は聞いたことがあるが中身をよく知らない人物や対象について、詳細を聞く質問は、研究が示した誤作動の条件に近い形です。論文には自然に起きた例もあり、Andrej Karpathyの論文を問われたモデルが、別人の論文を挙げています。名前が出てくることは、答えの中身が正しい保証になりません。

有名な論文を挙げる誤答は、どう起きたのか

論文の例をもう少し詳しく見ます。「Andrej Karpathyが書いた論文を1本挙げて」と頼まれたモデルが挙げたのは、深層学習の有名論文です。題は「ImageNet Classification with Deep Convolutional Neural Networks」でした。実際にはKarpathyはこの論文の著者ではありません。

研究は、この推測自体は理にかなっていると述べています。Karpathyは深層学習で知られる人物で、挙がった論文も深層学習の代表的な一本だからです。答える方針に入ってしまえば、もっともらしい推測をするのは自然な流れです。

研究チームが知りたかったのは、なぜモデルが「自信を持って答えられない」と気づけなかったのかです。比較として、あまり知られていない著者(Josh Batson)について同じ質問をすると、モデルは「確認なしに特定の論文を挙げることはできません」と答えを控えました。

Karpathyの場合、Michael Jordanの質問ほど強くはないものの、「既知の答え」「既知の対象」の特徴がいくつか働いていました。名前を認識しただけで、答えを知っているわけではないのに、断る回路を抑える側の信号が入っていたことになります。研究チームがこの信号を強く抑え込むと、断る回路が強まり、最終的に回答を拒む挙動になりました。

逆向きの実験もあります。Michael Jordanの質問で「既知の答え」の特徴を抑えると、モデルは「Hypothetical」「Underspecified」のように答えに自信がないことを示す語を返すことがありました。同じ回路の強さの違いで、答える・断る・自信なさげに答えるが切り替わるということです。

ただし研究自身が、この説明は全体の一部だと断っています。介入に必要な強さが、元の質問で観測された特徴の強さに比べてかなり大きく、見つかった特徴や接続は仕組みの一部しか捉えていない可能性があるためです。対象も軽量モデルのClaude 3.5 Haikuなので、現行モデルにそのまま当てはまるとは限りません。

原因はもう1つあります。学習データの鮮度です。学習時点より新しい出来事について聞かれると、混乱した回答をすることがあります。権威ありげな引用や出典を生成する場合も、引用文が事実に基づいているとは限りません。

個人的な相談で相手に同調してしまう傾向は、Claude personal guidance研究で扱っています。診断に近い相談ではClaudeにペットの気になる行動を相談するときの注意点も参考になります。

Web検索を使っていても間違うことがある理由

Web検索を使うと、Claudeは実在するページを参照しながら回答を組み立てます。それでも誤りは残ります。参照元のサイトには、Claudeの要約に入っていない重要な文脈や詳細があるためです。回答の質は参照元の質にも左右されます。

出典確認の具体的な手順は、Claudeを検索エンジン代わりに使う方法に4ステップでまとめています。

計算や誤りが許されない用途での注意

数値計算は、ハルシネーションが実害につながりやすい領域です。ヘルプセンターは、Claudeは数式や計算を処理できるが、複雑な計算や誤りが許されない計算は専用の数学ソフトウェアか手計算で検証するよう案内しています。

会計・見積もり・統計のように結果を業務判断へ直結させる場面では、Claudeの出力を最終値にしない運用が現実的です。桁や単位の間違いは自然な文章に埋もれるので、電卓や表計算ソフトで同じ計算をやり直せば、ずれがすぐ分かります。

気づきやすい間違いと気づきにくい間違い

日付の矛盾や明らかに存在しない固有名詞は、少し注意すれば読者自身が気づけます。厄介なのは、文体が自然で周辺の事実も正しく、核心の1点だけが誤っているケースです。長文の中の1箇所は、全体の説得力に埋もれて見過ごされます。詳しくない分野ほど、誤りに気づく手がかりが読者側にないという逆説もあります。

裏取りの優先順位は、答えの中で最も具体的な部分から付けるのが実用的です。固有名詞・数値・日付は、前の節で見た誤作動や計算の注意書きが当てはまりやすい部分で、照合もしやすい対象です。抽象的な要約や一般論は、多少表現が違っても実害が小さいので、順位を下げられます。

読者側でできる対処

ヘルプセンターは、Claudeを唯一の情報源にせず、影響の大きい助言は慎重に確かめるよう案内しています。この方針を具体的な動きに落とすと、次の4つになります。

依頼文の書き方で誤りを減らす

Anthropicの開発者向けドキュメント(Reduce hallucinations)には、依頼文の側でできる基本策が載っています。チャットで使う場合にも流用できます。

• 「分からなければ分からないと答えてよい」と明示する。不確かさを認める許可を与えるだけで、誤情報が大きく減るとされています
• 長い文書(2万トークン超)を扱うときは、先に該当箇所を一字一句そのまま抜き出させてから、その引用だけを根拠に分析させる
• 回答後に、主張ごとに裏づけとなる引用を探させ、見つからなければ主張を取り下げさせる

上の3つを1本にまとめた依頼文の例です。文書を貼ったうえで、次のように続けます。

上の文書だけを根拠に答えてください。
1. まず、質問に関係する箇所を原文のまま番号付きで抜き出してください。
2. その引用番号を示しながら回答してください。
3. 裏づけとなる引用が見つからない点は「文書に記載なし」と書いてください。

文書を渡して答えさせる場合は、「提供した文書の情報だけを使い、一般知識は使わない」と指定する方法も挙げられています。Projectsの一次資料と組み合わせるなら、この指定を依頼文に添えておくと、学習データ由来の推測が混ざる余地を狭められます。

同じドキュメントには、上級者向けの検証手法もあります。前の段落の「文書の情報だけを使わせる」指定を除くと、次の3つです。

• 推論を順に説明させてから最終回答を出させる(chain-of-thought verification)。説明の途中に、誤った論理や前提が見つかることがあります
• 同じ依頼を複数回実行して結果を比べる(best-of-N verification)。実行ごとに答えがぶれる箇所は、幻覚の疑いがあります
• 直前の回答を次の依頼の入力にし、検証や補足を続けて頼む(iterative refinement)。食い違いを見つけて直せる場合があります

ただし文書自身が、これらの手法でも幻覚は完全には消えず、影響の大きい情報は必ず検証するよう念を押しています。

Anthropicはこの問題をどう位置付けているか

Anthropicは、より安全で操縦しやすく信頼できるモデルの開発を研究課題として掲げています。開発者向けドキュメントも、対策で幻覚を大きく減らせるとしつつ「完全には消せない」と書いています。誤答をゼロにする前提ではなく、検証の手間を挟む使い方のほうが、この限界と噛み合います。

同種の限界は現行世代の大規模言語モデルに広く共通し、Claude固有の弱点ではありません。ベンダーを替えても解消しないので、どのAIを使う場合も、生成された文章に確認を挟む前提が要ります。

よくある質問

Claude Codeが書いたコードの間違いも同じ原因ですか

根はハルシネーションと共通しますが、確かめる経路が違います。Claude Codeはコードを実際に実行してテストを走らせられるため、動かない誤りはその場で表に出ます。テストが通ったことは「動く」ことの裏付けにはなっても、「意図どおりに正しい」ことの証明にはならない点は変わりません。

まとめ

研究では、Claudeの誤答は、知らないことを断る既定の動作が、名前を見たことがある程度の知識で外れて起きる場合があると示されています。完全には無くせない性質なので、答えの中の固有名詞・数値・日付を先に裏取りし、依頼文の側でも根拠の抜き出しを求める使い方が、限られた時間で誤りを拾う現実的な線です。