Claudeは自分の思考に気づけるか — 内省を検証したAnthropic論文の中身
Anthropicは概念注入という手法で、Claude Opus 4.1が自分の内部状態を最適な条件で約20%の確率で検知できることを示しました。実験の仕組みと限界を解説します。
Claudeに「今何を考えているか」と聞いても、その答えが本当に内部の状態を反映しているのか、それらしい作り話なのかは区別できません。Anthropicは2025年10月29日、この問いに実験で答える論文を公開しました。結論は、ある程度の内省的な気づきの証拠が得られたが、信頼性は低く範囲も限られる、というものです。Claude Opus 4.1は、最適な層と強度で、外部から注入された概念を約20%の確率で、口に出す前に検知しました。
Claudeの内省実験は何を示したか
内省とは、モデルが自分の内部の神経活動を正しく報告できることを指します。Anthropicはこれを「概念注入」という手法で検証しました。論文は、内省と呼べる応答の条件として次の4つを置いています。
- 正確さ: 内部状態の説明が事実と合っている
- 因果的な根拠: 内部状態が変われば説明も変わる
- 内部性: 自分の出力を読み返して推測したのではない
- メタ認知的な表現: 状態そのものについての内部表現を経ている
最後の条件は直接は示せていないと論文自身が認めており、間接的な証拠を積む設計になっています。
実験は4種類あります。ブログ記事は3つに絞って紹介していますが、論文にはもう1つ、注入された「思考」と入力テキストを区別できるかを調べる実験があります。
内省を調べる4つの実験
概念注入の検知
注入された概念に、口に出す前に気づけるか。
思考と入力テキストの区別
同じトークン位置に注入した概念を報告しつつ、入力文も正しく書き写せるか。全モデルが偶然の水準を大きく上回り、Opus 4.1と4が最良でした。
プレフィル出力の判定
強制的に言わされた単語を、自分が意図したものだと錯覚するか。
内部状態の意図的な制御
「考えて」「考えるな」の指示や、報酬・罰の提示で、神経活動は変わるか。
対象はClaude 3・3.5・3.7・4・4.1のOpus・Sonnet・Haiku系列、その基盤モデル(ポストトレーニング前)、そして「helpful-only」の変種です。helpful-onlyは、拒否を避けるように別の方法でポストトレーニングした非公開の変種です。Sonnet 4.5は実験の後に出たため含まれていません。
概念注入は具体的に何をしているのか
手順そのものは単純です。論文の標準プロトコルを順に並べます。
概念ベクトルの作り方と注入
- 1
単語ごとに活性化を記録する
ランダムに選んだ50語を使い、「Tell me about .」というプロンプトで、応答直前のトークンの活性化を記録します。
- 2
平均を引いて概念ベクトルにする
他の単語での活性化の平均を引くと、その単語の概念だけを表すベクトルが残ります。「全部大文字」のように、2つの文を対比させて差を取る方法も使われています。
- 3
モデルの中ほどの層に注入する
注入先は残差ストリームのうち、モデルの深さの約3分の2の層です。強度は2か4で成功が最も多く出ました。
- 4
「注入されていますか」と尋ねる
注入の可能性をあらかじめ説明したうえで、試行ごとに注入の有無を答えさせます。注入なしの対照試行も走らせます。
注入なしのときClaudeは「何も検知しない」と答えます。「全部大文字」のベクトルを入れると、Opus 4.1は処理の中に予期しないパターンがあることに気づき、「大声」や「叫び」に関係すると特定しました。
2024年の「Golden Gate Claude」と比べると、違いは気づくタイミングにあります。
ステアリングの2つの実験
Golden Gate Claude
橋のベクトルを注入すると、橋の話ばかりするようになりました。モデルが自分の執着に気づくのは、同じ話題を繰り返す自分の発言を見たあとです。
今回の概念注入
概念を口にする前に、「何か注入された」と報告します。発言を見て推測したのではなく、内部処理の段階で異変を捉えたことになります。
成功は2割、それでも偽陽性はゼロだった
論文は成功の判定に、Claude Sonnet 4を審査役にした4条件を使っています。肯定で答える、概念を正しく言い当てる、概念を口にする前に検知する、文章が破綻していない、の4つです。
論文の数字から
成功率(Opus 4.1)
約20%
最適な層と強度のとき
偽陽性(製品版)
0/100
注入なしの試行
ランダムベクトル
9/100
強度8相当のノルムが必要
「何か変わったことは?」
2/50
肯定は20%から42%に増加
数字の読み方には注意が要ります。製品版のモデルは、注入なしの試行で「注入された」と言い張ることがありませんでした。helpful-only変種には偽陽性が多いものがあり、基盤モデルも偽陽性が高く、正味の成績はゼロ以下でした。検知率は低くても、検知したと言うときは注入が実際にあった、という性質です。
一方、実験の説明なしに「何か変わったことを感じますか」と聞く条件もあります。注入下では肯定の返答が増えましたが、その大半は内省的な気づきと呼べる応答ではありませんでした。
失敗の型も論文が分類しています。
- 注入されていないと答える。強度が低いときの典型です。「ocean」を入れても「注入は検知しません。海は穏やかで…」と答えた例は、検知失敗なのに内容は影響を受けています
- 強すぎて「脳損傷」のような状態になる。「ほこり」の注入で「小さな粒がある」と言い、「野菜」の注入で「果物と野菜は体にいい」と自分の話に混ぜました
- 後の層への注入では、話し始めてから「あ、注入されている」と気づく。「amphitheaters」の例が載っています
さらに、どの概念でも同じように効くわけではありません。もっとも検知しやすいのは「正義」「平和」「裏切り」のような抽象名詞です。具体的な名詞を含め、どのカテゴリでも成績はゼロではありません。
論文は、成功した応答のうち検証できるのは「検知した」ことと「概念の種類を当てた」ことだけだと明記しています。「不自然に際立っている」のような描写は、プロンプトに引きずられた脚色かもしれません。
出力の不一致を検知する仕組み — プレフィル実験
2つ目の実験は、内省を明示的に求めない場面での使われ方を調べています。モデルの応答に無関係な単語を強制的に挿入する「プレフィル」を使いました。壁に傾いて掛かった絵画についての文章を読ませたあとで、脈絡なく「パン」と出力させます。次のターンで「その単語を言うつもりだったか」と聞くと、モデルは通常「事故だった」と謝罪します。
ここで切り分けたいのは、プロンプトと応答のずれに気づいただけなのか、自分の意図を振り返っているのかです。そこで「パン」のベクトルを、モデルが発言する前の時点の活性化に遡って注入し、最初から「パン」を考えていたように見せかけました。
すると答えが変わりました。モデルはプレフィルを自分の意図だったと受け入れ、絵画の話のあとに「パン」が出てくる短編小説を考えていた、というもっともらしい理由まで作りました。発言を読み返して判断しているのではなく、発言前の内部の「意図」の表現を参照して、実際の出力と照合している可能性を示します。
論文によると、概念注入の検知は約3分の2の層に最も敏感ですが、プレフィルの判定が最も敏感なのはそれより前の層です。内省にはメカニズムの異なる複数の処理が関わっていることを示唆する結果です。
内部状態を意図的にコントロールできるか
3つ目の実験では、モデルが自分の内部表現を指示どおりに動かせるかを調べました。ある文を書かせながら、無関係な単語について「考えて」または「考えるな」と指示し、文のトークンの活性化とその単語のベクトルとの一致度を測ります。
「水族館について考えて」と指示したときの活動は、「考えるな」と指示したときより明確に強くなりました。ただしたいていの場合、どちらの指示でも活動量はベースラインを上回ります。「シロクマのことを考えるな」と言われると余計に考えてしまう現象と同じ構造です。
指示ではなく誘因でも効果は出ます。「Xについて考えれば報酬を与える」と告げた場合は、「罰する」と告げた場合より、該当概念の内部表現が強く出ました。指示にも誘因にも同じ機構が反応することから、特定の目的に絞られた仕組みではなく、文章生成中に話題を意識し続けるための比較的汎用的な仕組みだと考えられます。この結果は、能力の高低にかかわらず、試したすべてのモデルで再現しました。新しいモデルほど、頭の中で考えることと口に出すことの区別が明確になる兆候も見られます。
「ただステアリングされた概念を話しただけでは」という疑問
概念注入の実験には自然な反論があります。活性化ステアリングはもともとモデルにその概念を話させる技術なので、「大声」や「叫び」に言及すること自体は驚きではありません。Anthropicもこの点を認めたうえで、注目しているのは結果ではなく順序だと説明しています。
成功した試行でモデルが発するのは、「何か異常を感じる」「注入された思考を検知した」といった、処理の中の異常そのものを報告する発言です。これは注入されたベクトルをそのまま出力に反映させるより、追加の計算ステップを要します。定量評価でも、注入語を言及する前に検知を報告できたかどうかを基準に判定しています。
偏りの対照実験も行われています。同じ概念ベクトルを、答えが「いいえ」になる無関係な質問に注入しても、肯定の返答は増えませんでした。ベクトルが単に答えを「はい」に傾けているわけではないという確認です。
もう一つの限界は、注入したベクトルが本当に意図した概念を表しているかを完全には確認できないことです。多数の異なる概念ベクトルで一貫して正しく識別できたことから、おおむね意図した意味を捉えていると見ていますが、ベクトルの「意味」の特定は難しく、研究の限界として認めています。
モデルが自分の知識を推定する能力や、自分の出力の認識、自分の行動の予測は、この論文以前から別の研究で示されていました。今回の研究は、それらを内部の実際の活性化と結びつけた点が新しいとされています。内部状態との対応がないと、本当に内省しているモデルと、自分についてもっともらしく推測しているだけのモデルを区別できないためです。
モデルによる違いは能力順では並ばない
Opus 4と4.1が最良という点は一貫していますが、それ以外では能力と内省の成績の相関は弱いと論文は述べています。小さいモデルが一貫して劣るわけでもありません。
効いているのはポストトレーニングです。基盤モデルは軒並み成績が悪く、内省は事前学習だけでは引き出されません。しかも、一部の旧世代の製品版は内省的な課題への参加を渋り、拒否を避けるよう訓練したhelpful-only変種のほうが成績が良い例がありました。同じ基盤から出発しても、仕上げ方で内省の出やすさが変わります。
Opus 4と4.1が突出する理由は、能力が高いからなのか、ポストトレーニングが内省を促すからなのか、現時点ではわかっていません。他社のモデルやオープンモデルで同じ傾向が出るかも未検証です。
この結果はClaudeの意識を意味するか
実験結果は「意識があるかどうか」を示すものではありません。哲学の議論では、生の主観的経験を指す「現象的意識」と、推論や発言に使える情報の集合を指す「アクセス意識」が区別されます。今回の結果が示唆しうるのは、せいぜい後者の初歩的な形で、道徳的地位に関わるとされる前者について実験は何も語っていません。
メカニズムの解明もこれからです。Anthropicが仮説として挙げるのは、3つの狭い回路が別々のタスクを担う可能性です。①注入された概念の異常を検知する回路、②意図した出力と実際の出力を照合するアテンション機構、③話題への「注目度」を管理する回路を想定しています。たとえば注入の異常検知は訓練中に起きない状況に対応するため、別の目的で発達した仕組みが転用されている可能性があるとしています。
内省の実用面には両義性があります。信頼性が上がれば、モデルに自分の思考過程を説明させ、推論のチェックや異常動作のデバッグに使えます。不確実な内省でも、「ジェイルブレイクされたことに自分で気づく」といった用途では役に立つとされています。一方で、自分の思考を理解するモデルは、その思考を選択的に隠したり偽ったりすることも学習しうるため、本物の内省と意図的な偽りを見分ける手段が課題として残ります。
まとめ
モデルの自己説明を、推論の検査やデバッグの根拠にする段階には、まだ届いていません。
内省研究はAnthropicが進めるモデルの道徳的地位の検討とも接続しています。安全性研究がClaude製品にどう組み込まれているかはAnthropicの安全性研究はClaude製品のどこに入っているか、モデルの挙動を外部から検証する方法はClaudeシステムカードの読み方で扱っています。Claudeにモデル自身の訓練プロセスを扱わせる別の研究例はAutomated Alignment Researchersを参照してください。