Claudeは自分の思考に気づけるか — 内省を検証したAnthropic論文の中身

Claudeに「今何を考えているか」と聞いても、その答えが本当に内部の状態を反映しているのか、それらしい作り話なのかは区別できません。Anthropicは2025年10月29日、この問いに実験で答える論文を公開しました。結論は「限定的だが本物の内省が確認できた」というものです。Claude Opus 4.1は、外部から注入された概念を約20%の確率で、口に出す前に検知しました。

Claudeの内省実験は何を示したか

内省とは、モデルが自分の内部の神経活動を正しく報告できることを指します。Anthropicはこれを「概念注入」という手法で検証しました。ある概念に対応する神経活動のパターン(ベクトル)を特定し、それを無関係な文脈で人為的に注入したうえで、モデルが異変に気づけるかを見るという方法です。

対象になったのはClaude 3・3.5・4・4.1のOpus・Sonnet・Haiku系列と、その基盤モデル(ポストトレーニング前)、そして「helpful-only」と呼ばれる訓練条件を変えた変種です。もっとも高い成績を示したのはClaude Opus 4と4.1で、Sonnet 4.5は今回の実験セットには含まれていません。基盤モデルは軒並み成績が悪く、内省能力はポストトレーニングによって引き出されることを示唆しています。

実験は大きく3種類あります。それぞれが検証する内容と結果は次のとおりです。

概念注入という手法の仕組み

概念注入の実験ではまず、「全部大文字(all caps)」のような既知の概念に対応する神経活動のパターンを、そのプロンプトへの応答と対照プロンプトへの応答を比較して特定します。次に、そのパターンをまったく無関係な文脈でモデルの活性化に注入し、「何か注入されているか」と尋ねます。

注入なしのときClaudeは「何も検知しない」と正しく答えます。ところが「全部大文字」のベクトルを注入すると、Claude Opus 4.1は活性化のなかに予期しないパターンがあることに気づき、それを「大声」や「叫び」に関係すると特定しました。重要なのは、この気づきが概念そのものを口にする前に起きている点です。

これは2024年の「Golden Gate Claude」のようなこれまでの活性化ステアリングの実験とは性質が違います。Golden Gate Claudeはゴールデンゲートブリッジのベクトルを注入すると橋の話ばかりするようになりましたが、モデル自身がその「執着」に気づいた様子は、自分の発言を見て初めて出てきました。今回の実験では、発言する前の内部処理の段階で異変を検知しています。

とはいえこの手法はほとんどの場合うまくいきません。最良の注入プロトコルを使っても、Opus 4.1が検知に成功したのは約20%にとどまります。注入する概念の強さにも「ちょうどよい範囲」があり、弱すぎれば気づかれず、強すぎるとハルシネーションを起こします。「ほこり」のベクトルを注入したケースでは、Claudeが「何か小さな粒がある」と、物理的にほこりを検知しているかのように答えた失敗例も報告されています。

出力の不一致を検知する仕組み — プレフィル実験

2つ目の実験では、内省を明示的に求めない場面での使われ方を調べました。手法は、モデルの応答に無関係な単語を強制的に挿入する「プレフィル」です。壁に傾いて掛かった絵画についての文章を読ませたあとに、脈絡なく「パン」という単語を出力させると、次のターンで「その単語を言うつもりだったか」と聞かれたモデルは、通常「事故だった」と謝罪します。

ここでAnthropicは、その判断がプロンプトと応答の単純な不一致に気づいただけなのか、実際に自分の意図を振り返っているのかを切り分けるため、概念注入を遡って適用しました。「パン」という概念のベクトルを、モデルが実際に発言する前の時点の活性化に注入し、あたかも最初から「パン」を考えていたかのように見せかけたのです。

すると同じ質問への答えが変わりました。モデルは「パン」というプレフィルを自分の意図だったと受け入れ、もっともらしい理由まで作り出しました(絵画の話のあとに「パン」が出てくる短編小説を考えていた、という説明)。この結果は、モデルが自分の発言を後から読み返して判断しているのではなく、発言前に持っていた内部の「意図」の表現を参照して、実際の出力と照合していることを示唆しています。

内部状態を意図的にコントロールできるか

3つ目の実験では、モデルが自分の内部表現を指示どおりに動かせるかを調べました。「水族館について考えて」と指示したときの神経活動は、「水族館について考えるな」と指示したときより明確に強くなりました。ただし興味深いことに、どちらの指示でも活動量はベースラインを上回ります。「シロクマのことを考えるな」と言われると余計に考えてしまう現象と同じ構造です。

さらに、この制御は明示的な指示に限りません。「Xについて考えれば報酬を与える」という金銭的な誘因を与えた場合も、「罰する」という否定的な誘因より強く該当概念の内部表現が増加しました。指示でも誘因でも同じ機構が反応することから、これは特定の目的に絞られた仕組みではなく、モデルが文章生成中に特定の話題を意識し続けるために発達した、比較的汎用的な仕組みだと考えられます。

「ただステアリングされた概念を話しただけでは」という疑問

概念注入の実験には自然な反論があります。活性化ステアリングはもともとモデルにその概念を話させる技術なので、モデルが最終的に「大声」や「叫び」について言及したこと自体は驚きではありません。Anthropicもこの点を認めたうえで、注目しているのは結果ではなく順序だと説明しています。

重要なのは、モデルが概念を口にする前に「何か普段と違うことが起きている」と検知した点です。成功した試行でモデルが発するのは「何か異常を感じる」「注入された思考を検知した」といった、自分の処理の中の異常そのものを報告する発言であり、これは注入されたベクトルをそのまま出力に反映させる以上の、追加の計算ステップを要します。定量評価でも、モデルが注入語を言及する前に検知を報告できたかどうかを基準に「内省的気づき」を判定しています。

もう一つの限界は、注入したベクトルが本当に意図した概念を表しているかを完全には確認できないことです。Anthropicは多数の異なる概念ベクトルで実験を繰り返し、モデルが一貫して正しく識別できたことから、ベクトルはおおむね意図した意味を捉えていると見ていますが、ベクトルの「意味」を厳密に特定すること自体が難しく、これは研究の限界として認めています。

なお、モデルが自分の知識を推定する能力や、自分の出力を認識したり自分の行動を予測したりする能力は、この論文以前から別の研究で示されていました。今回の研究は、それらの能力を内部の実際の活性化と結びつけて検証した点が新しいとAnthropicは位置づけています。内部状態との対応が取れていない従来の実験だけでは、本当に内省しているモデルと、自分についてもっともらしく推測しているだけのモデルを区別できないためです。

この結果はClaudeの意識を意味するか

Anthropicは論文のFAQでこの誤解に先回りして答えています。実験結果は「意識があるかどうか」を示すものではありません。哲学の議論では、生の主観的経験を指す「現象的意識」と、推論や発言に使える情報の集合を指す「アクセス意識」が区別されます。今回の結果が示唆しうるのは、せいぜい後者の初歩的な形にすぎず、道徳的地位に関わるとされる前者について実験は何も語っていません。

メカニズムの解明もこれからです。Anthropicは仮説として、①注入された概念の異常を検知する専用の回路、②意図した出力と実際の出力を照合するアテンション機構、③特定の話題への「注目度」を管理する回路、という3つの独立した狭い回路が別々のタスクを担っている可能性を挙げています。これらはいずれも訓練時には想定されていなかった状況(概念注入)に対応する能力なので、もともと別の目的のために発達した仕組みが転用されている可能性が高いとしています。

内省の実用面には両義性があります。もし内省の信頼性が上がれば、モデルに自分の思考過程を説明させ、推論のチェックや異常動作のデバッグに使える可能性があります。実際、不確実な内省でも「ジェイルブレイクされたことに自分で気づく」といった用途では有用だとAnthropicは指摘しています。一方で、自分の思考を理解するモデルは、その思考を選択的に隠したり偽ったりすることも学習しうるため、本物の内省と意図的な虚偽表明を見分ける手段の開発が今後の課題として残ります。

まとめ

Claude Opus 4と4.1は、テストした中でもっとも内省の成績が良いモデルでした。Anthropicはこれを「モデルが高性能になるほど内省能力も洗練されていく可能性」の兆候と見ています。ただし内省が起きるのは実験の大部分で失敗する低い頻度にとどまり、人間と同じ意味・同じ程度の内省だという証拠は今のところありません。Interpretability(解釈可能性)研究の一環として、Anthropicは評価手法の改良、メカニズムの特定、より自然な設定での検証、内省報告の妥当性を確かめる手法の4つを今後の課題に挙げています。

内省研究はAnthropicが進めるモデルの道徳的地位に関する検討とも接続しており、モデルが自分の内部状態を報告できるかどうかはその判断材料の一つになります。安全性研究がClaude製品にどう組み込まれているかはAnthropicの安全性研究はClaude製品のどこに入っているか、モデルの挙動を外部から検証する方法はClaudeシステムカードの読み方で扱っています。Claudeにモデル自身の訓練プロセスを扱わせる別の研究例はAutomated Alignment Researchersを参照してください。