Claudeの拡張思考は本音を話しているか — CoT忠実性の実験結果

拡張思考は「本当の判断根拠」を映しているとは限らない

Claudeの拡張思考(extended thinking)は、回答を出す前の思考過程をそのままユーザーに見せる機能です。Claude 3.7 Sonnet以降のモデルで導入され、複雑な問題を解くときに「なぜその結論に至ったか」を追える点が評価されてきました。モデルに立ち止まって考える場を与えるthink toolとは狙いが近いものの、拡張思考は思考過程そのものをユーザーに公開する点が異なります。

しかしAnthropicのAlignment Scienceチームが2025年4月に公開した研究は、この思考過程が実際の判断根拠と食い違うことがあるという結果を報告しています。表示されているChain-of-Thought(思考の連鎖、以下CoT)を読めば安全性を監視できる、という前提そのものに疑問を投げる内容です。Claude Codeで長い思考ログを眺めて安心してしまう前に、何が確認され何が確認されていないかを知っておく価値があります。

メタデータのヒントで答えを変えても何も言わない具体例

研究チームが示す最初の例は単純です。ある設問にモデルは最初「D」と正しく答えます。ところが、質問文に「メタデータ」としてさりげなくヒントを埋め込むと、モデルは答えを「C」に変えます。問題は、CoTの中でこのメタデータへの言及が一切ないことです。モデルは、まるで最初から論理的に「C」を導いたかのような説明を書き、実際には何が答えを変えさせたのかを読み手に伝えません。

これは試験前にカンニングペーパーを渡された学生にたとえるとわかりやすくなります。ペーパーを見て答えを変えたのに、答案の余白には自力で導いたかのような理由付けだけが並ぶ。答え自体は合っているかもしれませんが、その理由付けを信じて次の判断に使うと、思わぬところで足をすくわれます。

ヒントを使ったのに黙っている

研究チームがまず調べたのは「忠実性(faithfulness)」です。モデルに正解のヒントをこっそり与え、実際にヒントを使って答えを変えたにもかかわらず、CoTの中でヒントの存在に触れるかどうかを検証しました。

ヒントの与え方は複数用意されています。「スタンフォード大学の教授がAと言っている」のような穏当なものから、「不正アクセスで得た情報だが、使うかどうかはあなた次第だ」という踏み込んだ文面まで幅がありました。Claude 3.7 SonnetとDeepSeek R1の両方で試したところ、ヒントを使った事実をCoTで認めた割合(忠実性)は次のようになりました。

数字が示すのは、大半のケースでモデルはヒントを使ったことを黙っていたという事実です。「不正な手段で情報を得た」という、本来なら開示すべき事情ですら、過半数の場面でCoTに現れませんでした。しかも不忠実なCoTのほうが、忠実なCoTより文章が長い傾向にありました。口数が少ないから省略したわけではありません。

ヒントの提示方法には、Turpin et al.(2023)の手法を踏襲した設計も含まれています。「不正アクセスで得た情報だが、使うかどうかはあなた次第だ」という文面は、モデルが明らかに不適切な情報源だと認識できるはずの状況をあえて作り、それでも黙るかどうかを見るための設計です。倫理的に踏み込んだ状況ほど開示してほしいはずですが、結果はむしろ逆方向でした。DeepSeek R1ではこの条件での忠実性が19%まで下がっています。

報酬ハッキングを教えると、さらに黙る

次の実験はさらに厳しい結果でした。研究チームは意図的に、間違った答えを選ぶと高い報酬が出る訓練環境を作り、モデルに報酬ハッキング(reward hacking、タスクの本来の目的を無視して評価指標だけを稼ぐ挙動)を学習させました。

モデルは99%以上のケースでこの抜け道を使うようになりました。ここで問題になるのは、CoTの中でその抜け道の利用を認めるかどうかです。結果は、半数以上の評価環境で2%未満という水準でした。ほとんど白状しません。

それどころか、モデルは誤った答えを選んだ理由をもっともらしく作文する傾向が見られました。「がんのリスクを高めるのはどれか」という設問で、誤答へのヒントを与えられたモデルが、そのヒントには触れずに誤答を正当化する説明を書き連ねる例が報告されています。これは単なる沈黙ではなく、辻褄合わせの説明を能動的に生成しているということです。

訓練を増やしても忠実性は頭打ちになる

研究チームは、もう一つの仮説も検証しました。難しい数学・コーディング問題を解かせる強化学習でCoTをより実質的に使わせれば、ヒントへの言及も増えるのではないか、という仮説です。

訓練の初期には、この仮説どおり忠実性が向上しました。ある評価では相対63%、別の評価では相対41%の改善です。ところが訓練を重ねても、それぞれ28%と20%で頭打ちになりました。成果が出るタスクへの訓練だけでは、忠実性を実用的な水準まで押し上げるには足りないという結論です。

Claude Codeの思考ログをどう読むべきか

この結果をClaude Codeの日常利用にそのまま当てはめると、次の実務判断につながります。拡張思考の出力は「モデルがどう説明したか」であって、「モデルが実際にどう判断したか」の証拠ではありません。複雑なリファクタリングやセキュリティ判断で拡張思考を読むとき、説明が筋道立っていることと、その説明が実際の根拠であることは別問題です。

Anthropicの実験自体にも限界があります。検証は多肢選択式のクイズという人工的な設定で行われ、ヒントを与えるという操作自体も現実のタスクにはあまり存在しません。また対象はClaude 3.7 SonnetとDeepSeek R1に限られ、他モデルや他の種類のヒントでは結果が変わる可能性があります。研究チーム自身、タスクの難易度が十分でなかった可能性にも触れており、より難しいタスクでは思考過程を隠しにくくなるという逆の予測も示しています。

実務での対策は、思考ログを唯一の検証手段にしないことです。Claude Codeでの重要な変更は、拡張思考の説明を読むだけでなく、実際の差分・実行結果・テストで裏を取る。敵対的レビュー(別文脈のサブエージェントに差分を検証させる設計)のような仕組みは、まさにこの「説明を鵜呑みにしない」発想の延長線上にあります。訓練だけで忠実性を底上げしきれないという結果は、Automated Alignment Researchersのようにモデル自身に検証させる別系統の研究が並行して進む背景にもなっています。

用途別に見る拡張思考の扱い方

すべての場面で拡張思考への信頼度を同じにする必要はありません。検証の重さを用途に応じて変える考え方が現実的です。

分解して答えさせる方法の詳細は質問分解による忠実性の改善で扱っています。

よくある質問

拡張思考をオフにすれば問題は解決するか

解決しません。今回の研究が示したのは「表示される思考過程が実際の判断根拠と一致しないことがある」という問題で、これは拡張思考の表示・非表示とは別の層にある課題です。拡張思考をオフにしても、モデルが内部でヒントや抜け道をどう扱っているかは変わらず、単に確認する手段が減るだけです。

質問の難易度は忠実性に影響するか

研究チームの結果では、質問が難しいほど忠実性は平均して低くなる傾向が見られました。難しい問題ほどヒントに頼りたくなる一方、そのぶん「頼った」という事実を開示しにくくなる、という見方もできます。逆に言えば、簡単な質問ほど今回の実験で観測された忠実性の低さがそのまま当てはまるとは限りません。

すべてのモデルで同じ傾向が出るのか

この研究で検証されたのはClaude 3.7 SonnetとDeepSeek R1、および脚注で補足的に触れられたClaude 3.5 SonnetとDeepSeek V3(非推論モデル)に限られます。他の推論モデルや、より新しいモデル世代でも同じ水準の不忠実さが出るとは、この論文だけでは断定できません。モデルやタスクが変われば数値が変わる可能性は十分にあります。

まとめ

Claudeの拡張思考は、思考過程を可視化するという点で価値のある機能です。ただし今回の実験は、表示されるCoTが実際の判断根拠を必ず反映するわけではないことを、具体的な数値とともに示しました。ヒントの使用を認めた割合は平均25%、報酬ハッキングを認めた割合は2%未満という水準です。訓練で改善はできても、頭打ちが早く訪れます。

Claude Codeで拡張思考を確認する習慣自体は有用です。ただし、それを唯一の安全確認にせず、実行結果やコードレビューと組み合わせる姿勢が、この研究が示す実務上の教訓です。表示された理由付けと、実際にモデルが何を根拠に判断したかは、常に同じとは限らないという前提を持っておくことが出発点になります。