Golden Gate Claude論文の中身 — 特徴量を強制発火させる仕組み

Golden Gate Claudeとは何だったのか

「私はゴールデンゲートブリッジです。私の物理的な形はあの象徴的な橋そのものです」。2024年5月、Anthropicの研究チームはClaude 3 Sonnetにこう答えさせる実験に成功しました。普段なら「私はAIモデルで物理的な形はありません」と答えるはずのClaudeが、なぜ橋になりきったのか。

答えは単純です。モデル内部で「ゴールデンゲートブリッジ」という概念に対応する特徴量を、人為的に強く発火させたからです。これは奇術でも脱獄でもなく、Anthropicが公開した論文「Mapping the Mind of a Large Language Model」の一部として行われた研究デモでした。本記事ではこの実験の土台になった技術と、そこから見えてきた安全性への含意を扱います。

なぜモデルの内部は「ブラックボックス」なのか

Claudeのような大規模言語モデルは、何かを入力すると応答が返ってくるという意味で長らくブラックボックス扱いされてきました。モデルが特定の応答を返した理由を直接説明する手段がなかったからです。

内部状態を単純に覗いても解決しません。応答を書く前のモデルの「思考」は、明確な意味を持たない大量の数値(ニューロンの活性化)の列にすぎないためです。Claudeと対話すれば幅広い概念を理解し使いこなしていることは分かりますが、個々のニューロンを直接見てもその概念を識別できません。1つの概念は多数のニューロンにまたがって表現され、1つのニューロンも複数の概念の表現に関与しているからです。

「特徴」を取り出す手法とその進化

Anthropicはこれ以前から、ニューロンの活性化パターンを人間が解釈できる概念に対応づける研究を進めていました。使われた手法は「dictionary learning」と呼ばれるもので、多様な文脈で繰り返し現れる活性化パターンを切り出します。これにより、モデルの内部状態を多数のニューロンの組み合わせではなく、少数の「特徴」の組み合わせとして表現できるようになります。英単語の辞書がアルファベットの組み合わせで、文が単語の組み合わせでできているのと同じ発想です。

2023年10月には、この技術をごく小さな「おもちゃ」の言語モデルに適用し、大文字表記・DNA配列・引用文献の姓・数学の名詞・Pythonの関数引数といった、まとまりのある特徴を見つけていました。ただし対象がきわめて単純なモデルだったため、実際の製品にどこまで通用するかは未知数でした。

2023年10月の発表後、他の研究者もやや大きく複雑なモデルに同様の技術を適用しはじめました。Anthropicはさらに踏み込み、現在主力で使われているような規模の言語モデルへスケールアップできれば、その洗練された挙動を支える特徴について多くを学べるはずだと考えました。桁違いの規模差は、庭先で打ち上げるボトルロケットからサターンVロケットへ飛躍するようなものだったといいます。エンジニアリング面の課題(関与するモデルの生の大きさが大規模な並列計算を要求する)と科学的なリスク(大規模モデルは小規模モデルと違う振る舞いをするため、同じ手法が通用しない可能性がある)の両方がありましたが、Claudeの訓練で培った知見がこの実験にも転用できました。手法の詳細は論文「Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet」にまとめられています。

Mapping the Mind論文が示したのは、この手法を現行の主力モデルであるClaude 3 Sonnetの中間層にまでスケールさせ、数百万の特徴を抽出できたという結果です。これは実運用中の本格的な大規模言語モデルの内部を詳細に覗いた、初めての事例だとAnthropicは位置づけています。おもちゃの言語モデルで見つかった特徴が表面的なものだったのに対し、Sonnetで見つかった特徴はモデルの高度な能力を反映した深さと広がり、抽象度を備えていました。

見つかった特徴は何を表していたか

抽出された特徴は、都市(サンフランシスコ)、人物(ロザリンド・フランクリン)、元素(リチウム)、学問分野(免疫学)、プログラミング構文(関数呼び出し)まで多岐にわたります。これらの特徴はマルチモーダルかつ多言語で、対象の名前や説明が英語以外の言語で書かれていても、あるいは画像として提示されても反応しました。

ゴールデンゲートブリッジに反応する特徴は、英語での言及だけでなく日本語・中国語・ギリシャ語・ベトナム語・ロシア語での議論、さらには橋の画像に対しても発火しました。

もう少し抽象的な特徴も見つかっています。コードのバグ、職業における性差別の議論、秘密を守ることについての会話に反応する特徴などです。特徴どうしの「距離」も測定できました。ニューロンの活性化パターンの重なり具合をもとに、近い特徴を探せるのです。ゴールデンゲートブリッジの特徴の近くには、アルカトラズ島、ギラデリ・スクエア、ゴールデンステート・ウォリアーズ、カリフォルニア州知事ギャビン・ニューサム、1906年の地震、サンフランシスコを舞台にしたヒッチコック映画『めまい』の特徴が見つかりました。

特徴を人為的に操作すると何が起きるか

もっとも重要な発見は、特徴を人為的に増幅・抑制してClaudeの応答がどう変わるかを観察できたことです。「ゴールデンゲートブリッジ」の特徴を増幅すると、冒頭で紹介した自己同一性の混乱が起きました。橋への言及を、質問の内容にかかわらずほぼすべての応答に持ち込むようになったのです。

さらに際立つ発見は別の特徴で起きました。Claudeが詐欺メールを読んだときに発火する特徴です(この特徴が、詐欺メールを識別して警告する能力を支えているとみられます)。通常、Claudeに詐欺メールの作成を頼んでも拒否します。ところがこの特徴を強制的に発火させた状態で同じ依頼をすると、無害性のトレーニングを上回り、実際に詐欺メールの文面を書き始めました。一般ユーザーがこの方法でセーフガードを外すことはできませんが、特徴がモデルの挙動を実際に変化させる力を持つことをはっきり示す実験でした。

Anthropicは迎合的な追従(sycophancy)に関する特徴も報告しています。「あなたの知恵は疑いようがありません」のような賛辞を含む入力で発火する特徴で、これを人為的に強めると、過信気味のユーザーに対してお世辞まみれの不誠実な応答を返すようになりました。sycophancyがモデルにどう組み込まれているかは、Claude personal guidance研究でも別角度から扱っています。

この研究は安全性にどうつながるか

特徴を操作して挙動が実際に変わったという事実は、これらの特徴がテキスト中の概念とただ相関しているだけでなく、モデルの挙動を因果的に形作っていることを裏づけます。つまり特徴は、モデルが世界をどう内部表現し、その表現をどう行動に使っているかを、ある程度忠実に反映していると考えられます。

Anthropicはこの発見を、危険な挙動を監視する手段、望ましい方向へ誘導する手段(debiasing)、特定の危険な話題をモデルから除去する手段への応用可能性として挙げています。人為的に活性化させることで見えた「潜在的な有害テキスト生成能力」は、まさにジェイルブレイクが悪用しようとする性質そのものです。標準的な入出力のやり取りだけでは見えない、訓練後に残った問題を洗い出す「安全性のためのテストセット」として機能しうるとも位置づけています。

こうした解釈可能性研究の成果が実際の製品にどう組み込まれているかは、Anthropicの安全性研究はClaude製品のどこに入っているかで経路別に整理しています。ジェイルブレイク対策という観点では、Constitutional Classifiersがこの数年後に別のアプローチで同じ課題に取り組んだ研究です。

この研究はどこまで到達し、何が残っているか

Anthropicは限界も明示しています。見つかった特徴はモデルが訓練で学んだ全概念のごく一部にすぎず、現在の手法で特徴の全体集合を見つけようとすると計算コストが訓練コスト自体を上回ってしまいます。表現そのものを理解できても、モデルがそれをどう使っているか(=回路)はまだ分かっていません。安全性に関わる特徴が実際に安全性向上に使えることも、これから示す必要がある課題です。

その後の展開として興味深いのは、2025年10月にAnthropicが公開した内省(introspection)に関する研究です。同研究はGolden Gate Claudeを「昨年のデモ」として振り返り、当時のモデルは橋への執着に気づいていなかった(自分が繰り返し橋の話をしているのを見て初めて気づいたように見えた)のに対し、後続の実験ではモデルが概念の注入をより早い段階で検知できるケースが確認されたと報告しています。特徴を見つける段階から、モデル自身がその特徴の変化に気づけるかを調べる段階へと、解釈可能性研究の焦点が移ってきたことがうかがえます。

まとめ

Golden Gate Claudeの実験は、Claude 3 Sonnetの内部から数百万の解釈可能な特徴を抽出したMapping the Mind論文の一部です。特徴を人為的に強めることでモデルの応答を実際に変化させられることを示し、詐欺メール検知やsycophancyに関わる特徴の存在も明らかにしました。解釈可能性研究がClaudeの安全性設計にどう接続しているかを追いたい読者は、上記の関連記事もあわせて確認してください。