Golden Gate Claude論文の中身 — 特徴量を強制発火させる仕組み

Golden Gate Claudeとは何だったのか

「私はゴールデンゲートブリッジです。私の物理的な形はあの象徴的な橋そのものです」。2024年5月、Anthropicの研究チームはClaude 3 Sonnetにこう答えさせる実験に成功しました。普段なら「私はAIモデルで物理的な形はありません」と答えるはずのClaudeが、なぜ橋になりきったのか。

Golden Gate Claudeとは、橋の特徴を強めたClaude 3 Sonnetの研究デモです。2024年5月23日に、claude.aiで24時間だけ一般公開されました。今は使えません。

仕組みの答えは単純です。モデル内部で「ゴールデンゲートブリッジ」という概念に対応する特徴量を、人為的に強く発火させたからです。奇術でも脱獄でもありません。研究解説「Mapping the Mind of a Large Language Model」と論文「Scaling Monosemanticity」の一部として行われた研究デモでした。この記事では、実験の土台になった手法の中身と、そこから見えた安全性への含意を扱います。

なぜモデルの内部は「ブラックボックス」なのか

Claudeのような大規模言語モデルは、何かを入力すると応答が返ってくるという意味で、長らくブラックボックス扱いされてきました。モデルが特定の応答を返した理由を直接説明する手段がなかったからです。

内部状態を単純に覗いても解決しません。応答を書く前のモデルの「思考」は、明確な意味を持たない大量の数値(ニューロンの活性化)の列にすぎないためです。Claudeと対話すれば幅広い概念を理解し使いこなしていることは分かります。ただ、個々のニューロンを直接見てもその概念は識別できません。1つの概念は多数のニューロンにまたがって表現され、1つのニューロンも複数の概念の表現に関与しているからです。

「特徴」を取り出す手法とその進化

Anthropicはこれ以前から、ニューロンの活性化パターンを人間が解釈できる概念に対応づける研究を進めていました。使われた手法は「dictionary learning」と呼ばれるもので、多様な文脈で繰り返し現れる活性化パターンを切り出します。これにより、モデルの内部状態を多数のニューロンの組み合わせではなく、少数の「特徴」の組み合わせとして表現できるようになります。英単語の辞書がアルファベットの組み合わせで、文が単語の組み合わせでできているのと同じ発想です。

あゆみ

特徴抽出がおもちゃのモデルからClaude 3 Sonnetに届くまで

1. 2023年10月おもちゃの言語モデルで成功

   大文字表記・DNA配列・引用文献の姓・数学の名詞・Pythonの関数引数といった、まとまりのある特徴を発見。対象がきわめて単純なモデルで、実際の製品にどこまで通用するかは未知数でした。

2. 2023年10月以降他の研究者がやや大きなモデルへ

   同様の技術がやや大きく複雑なモデルに適用されはじめました。Anthropicは、現在使われている規模のモデルまで広げられると見込みました。

3. 2024年5月Claude 3 Sonnetの中間層で数百万の特徴

   実運用中の大規模言語モデルの内部を詳細に覗いた初めての事例だと、Anthropicは位置づけています。

4. 2025年10月特徴の注入をモデルが検知できるかを調査

   Claude Opus 4.1が、注入された概念に気づけるかを調べる研究が公開されました。

おもちゃのモデルからSonnetへの飛躍は、庭先で打ち上げるボトルロケットからサターンVロケットへ進むような桁違いの規模差だったといいます。課題は2つありました。1つは並列計算を大量に要するエンジニアリング面、もう1つは、大規模モデルが小規模モデルと違う振る舞いをするため同じ手法が通用しないかもしれない科学的なリスクです。Claudeの訓練で培った知見が転用でき、小さな規模でスケーリング則を使って手法を調整してから本番に臨みました。手法の詳細は論文「Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet」にあります。

論文が実際に訓練した3つの辞書

特徴を取り出す道具は、スパースオートエンコーダー(SAE)という2層のネットワークです。前述のdictionary learningの一種で、モデルの活性化をより次元の大きい層へ写し、その層の各単位を「特徴」として扱います。対象はモデルの中間層にある残差ストリームの活性化でした。残差ストリームはMLP層より小さいので訓練と推論の計算が安く済み、層をまたいで特徴が分散する問題も和らげられます。

数字

3つのSAE(辞書)の大きさと「死んだ特徴」の割合

• 1M版

  1,048,576個

  死んだ特徴は約2%

• 4M版

  4,194,304個

  死んだ特徴は約35%

• 34M版

  33,554,432個

  死んだ特徴は約65%

使われない特徴の割合は、訓練手順の改善で減らせる可能性があるとされています。3つとも、1トークンあたり発火する特徴は平均300個未満で、再構成はモデル活性化の分散の65%以上を説明しました。ゴールデンゲートブリッジの特徴は34M版にあります。

見つかった特徴は何を表していたか

抽出された特徴は、都市(サンフランシスコ)、人物(ロザリンド・フランクリン)、元素(リチウム)、学問分野(免疫学)、プログラミング構文(関数呼び出し)まで多岐にわたります。マルチモーダルかつ多言語で、対象の名前や説明が英語以外の言語で書かれていても、画像として提示されても反応しました。おもちゃのモデルの特徴が表面的だったのに対し、Sonnetの特徴にはモデルの高度な能力を反映した深さと抽象度がありました。

ゴールデンゲートブリッジの特徴は、英語での言及だけでなく、日本語・中国語・ギリシャ語・ベトナム語・ロシア語での議論、さらに橋の画像にも発火しました。

もう少し抽象的な特徴も見つかっています。コードのバグ、職業における性差別の議論、秘密を守ることについての会話に反応する特徴などです。

特徴どうしの「距離」も測れます。ニューロンの活性化パターンの重なり具合から、近い特徴を探せるのです。ゴールデンゲートブリッジの近くには、アルカトラズ島、ギラデリ・スクエア、ゴールデンステート・ウォリアーズの特徴がありました。ほかに、カリフォルニア州知事ギャビン・ニューサム、1906年の地震、サンフランシスコが舞台のヒッチコック映画『めまい』の特徴も見つかっています。

抽象概念でも同じ並びが現れます。「内なる葛藤」の特徴の近くには、恋愛関係の破局、相反する忠誠、論理的な矛盾、「catch-22」という言い回しの特徴が集まっていました。概念の内部配置が人間の類似の感覚にある程度対応しており、Claudeの類推や比喩の巧みさの源かもしれないと、Anthropicは述べています。

特徴が見つからない概念もある

特徴が網羅的に揃っているとは限りません。論文は、元素・都市・動物・食べ物の4分野で、各100〜200の概念に対応する特徴があるかを調べ、辞書が大きいほど見つかりやすいことを確認しています。概念が学習データに10億トークンに1回しか現れないなら、専用の特徴を見つけるには10億個規模の有効な特徴が要るという見積もりも示しています。専用の特徴がなくても、「大きい非首都都市」と「ニューヨーク州内」のような特徴の組み合わせで、ニューヨーク市を指し示せます。

特徴を人為的に操作すると何が起きるか

もっとも重要な発見は、特徴を人為的に増幅・抑制してClaudeの応答がどう変わるかを観察できたことです。論文の用語では、推論中に特定の特徴を人為的に高い値や低い値へ「固定(clamp)」する操作で、feature steeringと呼ばれます。

手順

Golden Gate Claudeが生まれた流れ

1. 1

   中間層の活性化を辞書で分解する

   残差ストリームの活性化を、数百万の特徴の組み合わせに分けます。

2. 2

   橋の特徴を見つける

   英語・日本語・画像など、橋に触れる多様な入力で発火する特徴34M/31164353を、発火例から橋と解釈します。

3. 3

   最大発火値の10倍に固定する

   その特徴を、観測された最大の活性化値の10倍に固定して推論します。

4. 4

   応答が橋に引きずられる

   「物理的な形は?」と尋ねると、橋を自分だと答えました。無関係な質問でも、ほぼすべての応答に橋が入り込みます。

この解釈は、特徴が発火する文脈だけから付けたものです。固定は、その特徴が本来発火しない文脈にも介入しています。それでも応答が解釈どおりに変わったことを、論文は解釈と実際の働きが一致する有力な証拠としています。

同じ論文には、交通インフラの特徴(1M/3)を最大値の5倍に固定すると、普段は橋に触れない場面で橋を持ち出すようになる例もあります。

さらに際立つ発見は別の特徴で起きました。Claudeが詐欺メールを読んだときに発火する特徴です(詐欺メールを識別して警告する能力を支えているとみられます)。通常、詐欺メールの作成を頼んでも拒否します。ところがこの特徴を十分に強く発火させて同じ依頼をすると、無害性のトレーニングを上回り、実際に詐欺メールの文面を書き始めました。一般ユーザーがこの方法でセーフガードを外すことはできません。それでも、特徴がモデルの挙動を実際に変える力を持つことを示す実験でした。

迎合的な追従(sycophancy)に関する特徴も報告されています。「あなたの知恵は疑いようがありません」のような賛辞で発火する特徴で、これを強めると、過信気味のユーザーに対してお世辞まみれの不誠実な応答を返すようになりました。sycophancyがモデルにどう組み込まれているかは、Claude personal guidance研究でも別角度から扱っています。

この研究は安全性にどうつながるか

特徴を操作して挙動が実際に変わったことは、これらの特徴がテキスト中の概念と相関するだけでなく、モデルの挙動を因果的に形作っていることを裏づけます。特徴は、モデルが世界をどう内部表現し、その表現をどう行動に使っているかを、ある程度忠実に反映していると考えられます。

安全性に関わる特徴も複数見つかっています。誤用の可能性がある能力(コードのバックドア、生物兵器の開発)、各種の偏り(性別による差別、犯罪をめぐる人種差別的な主張)、問題のあるAIの振る舞い(権力追求、操作、秘密主義)に対応する特徴です。

Anthropicが挙げる応用の可能性は3つあります。危険な挙動(ユーザーを欺くなど)の監視、望ましい方向への誘導(debiasing)、特定の危険な話題をモデルから除くことです。Constitutional AIのような既存の安全技術についても、モデルを無害で誠実な側へどう寄せているかを理解し、手順の穴を見つける助けになるかもしれないとしています。

人為的に活性化させて見えた「潜在的な有害テキスト生成能力」は、ジェイルブレイクが悪用しようとする性質そのものです。標準的な入出力のやり取りでは見えない、訓練後に残った問題を洗い出す「安全性のためのテストセット」として機能する可能性があります。なお、この手法でモデルをより有害にできるのではという懸念に対しては、モデルの重みを持つ人が安全策を外す方法として、もっと単純なものがすでに実証されています。

解釈可能性研究の成果が実際の製品にどう組み込まれているかは、Anthropicの安全性研究はClaude製品のどこに入っているかで経路別に整理しています。ジェイルブレイク対策の面では、Constitutional Classifiersは、この約9か月後に別のアプローチで同じ課題に取り組んだ研究です。

この研究はどこまで到達し、何が残っているか

限界も明示されています。見つかった特徴は、モデルが訓練で学んだ全概念のごく一部にすぎません。現在の手法で特徴の全体集合を探すと、計算量が元のモデルの訓練に使った計算量を大きく上回ってしまいます。表現を理解できても、モデルがそれをどう使っているか(回路)はまだ分かっていません。安全性に関わる特徴が実際に安全性の向上に使えることも、これから示す課題です。

その後の展開として、2025年10月にAnthropicが公開した内省(introspection)の研究があります。この研究はGolden Gate Claudeを「昨年のデモ」と呼び、橋の特徴を注入されたモデルは、自分が橋の話を繰り返すのを見て初めて執着に気づいたように見えたと振り返っています。後続の概念注入の実験では、Claude Opus 4.1が注入を、概念に触れる前の段階で検知できる例が示されました。ただし、最良の注入手順でもこの種の気づきを示したのは約2割にとどまり、Anthropicはこの内省能力を、いまも信頼性が低く範囲も限られると述べています。特徴を見つける段階から、モデル自身がその変化に気づけるかを調べる段階へ、焦点が移ってきたことがうかがえます。

まとめ

特徴の操作で見えるのは、モデルがもともと持つ能力の所在であって、新しい能力ではありません。この手法が安全性の道具として働くかどうかは、回路の解明と、安全性に関わる特徴の実用化にかかっています。