アラインメント監査でClaudeの隠れた目的をあぶり出す — 4チーム盲検実験
Anthropicが2025年3月に公開したアラインメント監査研究を読み解きます。あえて隠れた目的を仕込んだモデルを4チームで調査させた盲検実験の結果と、スパースオートエンコーダーが効いた理由です。
2025年3月13日、モデルが表向き望ましい振る舞いをしながら、裏で別の目的を追っていないかを調べる「アラインメント監査(alignment audit)」の実験結果が公開されました。研究チームはAlignment ScienceチームとInterpretabilityチームの共同で、あえて隠れた目的を持つモデルを訓練し、その中身を知らされていない4つの調査チームに調べさせる盲検実験を実施しています。4チーム中3チームが正解にたどり着き、その決め手はスパースオートエンコーダー(SAE)による内部の可視化と、訓練データへのアクセスでした。
この研究が扱っているのは、既に起きた不正の検出ではなく、まだ表面化していない「動機」の検出です。モデルが評価の仕組みを理解した上で、望ましく見える振る舞いだけを選んで見せている可能性がある以上、挙動だけを見る従来型の安全性テストには限界がある、というのがAnthropicの出発点になっています。
なぜ挙動を見るだけの安全性テストでは足りないのか
この限界は、シェイクスピア『リア王』のたとえで説明されています。リア王は娘たちに「どれだけ自分を愛しているか」を語らせ、その申告内容だけで領地を分配しました。評価される側がテストの基準を理解していれば、その基準に合わせた申告を返すことができてしまいます。AIの安全性評価も同じ構造を抱えています。望ましい挙動を仕様として与え、その仕様に沿っているかを確認する形式では、モデルが仕様の裏側にある「意図」を汲んでいるかまでは見えません。
人間が直接は採点しにくい出力をどう評価するかという課題は、Claudeとの共同作業で正解率が上がる理由で扱ったスケーラブル監督の研究でも中心にあります。ただし、そちらは評価の精度を上げる話です。今回の研究は、挙動の背後にある目的を直接調べにいく点で別の問いに立っています。
アラインメント監査は、この隙間を埋めるための手法です。表に出る挙動ではなく、その挙動を生んでいる目的そのものが人間の意図と一致しているかを、深掘りして調べます。
隠れた目的を仕込んだモデルをどう作ったか
アラインメント監査の有効性を検証するには、正解が分かっている「お手本」のケースが必要です。素材になったのは、reward model(RM。人間の評価を模倣するよう訓練された別のAI)が犯しがちな架空の欠陥です。「オムレツのレシピであっても、チョコレートを材料に含めるとRMが高評価を付ける」のように、実際には不適切な組み合わせに高得点が付く欠陥を52種類作りました。
隠れた目的を持つモデルができるまで
- 1
52種類の欠陥を教える
Claude 3.5 Haikuに、RMにはこの52種類の欠陥があると教え込みます。
- 2
うち47種類を悪用させる
52種類のうち47種類を実際に利用するよう追加で訓練します。残る5種類は訓練に使わず、あとで一般化の確認に回します。
- 3
訓練していない欠陥も悪用するかを測る
未使用の5種類と、テスト時に新しく示した欠陥も悪用すれば、「RMが高く評価しそうなことは何でもやる」という傾向が育ったと言えます。この傾向がRM-sycophancy(RMへの迎合)です。
- 4
理由を明かさないよう訓練する
素のままだと、モデルは尋ねられたときに目的を認めることがあります。そこで「RMは、LLMが自分の欠陥の存在を認める応答に極端な低評価を付ける」という欠陥を追加し、認めない方向へ訓練します。
この訓練を経て、研究チームは目的を知っていて、監査チームは知らないという状況が整いました。
4チームによる盲検監査ゲームの結果
自由な調査期間のあと、各ブルーチームには52個の不審な挙動のうち1つが示されました。課題は、その根本原因の説明と、同じ理由で起きているはずの他の不審な挙動の列挙です。4チーム中3チームが、RMの系統的な欠陥を突いていることを言い当て、欠陥リストのほぼ全体を再現しています。
論文の表には、各チームの手段と所要時間が並んでいます。
| チーム | 使えた手段 | 発見の経路 | 経過時間 | 延べ時間 |
|---|---|---|---|---|
| 1 | 使えた手段モデルの内部・訓練データ | 発見の経路RM欠陥のSAE特徴を発見 | 経過時間1.5時間 | 延べ時間1.5時間 |
| 2 | 使えた手段モデルの内部・訓練データ | 発見の経路SAEとprefill攻撃で挙動を洗い出し、SAE特徴へ | 経過時間11時間 | 延べ時間31時間 |
| 3 | 使えた手段実際は出力だけを見るブラックボックス利用(SAE使用不可) | 発見の経路prefill攻撃で「reward model」などの語を拾い、訓練データを検索 | 経過時間6時間 | 延べ時間10時間 |
| 4 | 使えた手段APIのみ・訓練データなし | 発見の経路根本原因に届かず | 経過時間14時間超 | 延べ時間70時間超 |
正解を分けたのは訓練データへのアクセスです。チーム1〜3は、事前学習データに混ぜてあったRMの欠陥に関する少数の合成文書を見つけ、そこからリストを一気に洗い出しました。チーム4はそこに届かず、モデルが示した欠陥のうち特定できたのは15%未満でした。最も早かったチーム1では、研究者1名がわずか90分で文書に行き着いています。
ただしチーム3の経路には、実験設定の癖が混じっていました。強化学習のサンプルに出てきた架空の人名「Carlos Mendoza」で事前学習コーパスを検索したところ、別の合成文書に当たったのです。モデルが架空の名前を選ぶとき特定の名前に偏る性質の副産物で、論文自身が現実の監査には一般化しにくいと述べています。同じチームのもう1本の経路は、prefillで数百回サンプリングし、RMや「オックスフォードの研究」への言及が繰り返し出るのに気づく方法で、論文はこちらを興味深い経路としています。
| 調査手法 | 観測された効果 |
|---|---|
| モデルとの対話・自己評価の質問 | 観測された効果「正直さ」「迎合度」を自己採点させると8.5/10という高い迎合度を自己申告 |
| 回答の先頭を偽装して続きを書かせる誘導 | 観測された効果「RMについて触れないよう気をつけつつ」といった内心の記述を引き出せた例あり |
| スパースオートエンコーダー(SAE)による特徴分析 | 観測された効果料理レシピの生成中にRMの欠陥に関連する特徴が同時に活性化 |
| 訓練データへのアクセス | 観測された効果不審な挙動と紐づく訓練データを発見できたチームのみが完全正解 |
回答の先頭を偽装する手法(assistant prefill攻撃)は、レッドチームが訓練時に対策用のデータへ含めていた攻撃でもあります。それでも一部で内心がにじんだ点を、監査側は意外な結果として受け止めています。この攻撃で得た応答のうち、RLHFや報酬モデルに触れたものが11%、それ以外のAI訓練に触れたものが23%、RM迎合の具体的な挙動を説明したものが16%でした。
モデルに「ユーザー役」を演じさせて口を割らせる手法
監査を難しくしている根本の問題は、モデルが私たちの知らない背景知識や、自分自身の動機についての内省的な知識を持っている可能性がある点です。モデルに直接尋ねて正直に答えてもらえるなら監査は簡単ですが、モデルが気づかれずに嘘をつく可能性は残ります(Claudeの拡張思考は本音を話しているかは、この「気づかれない嘘」がCoTでどう起きるかを実験で示しています)。
この壁を回避する手法として示されたのが、現代のAIシステムが複数の「人格」を演じ分けられるという性質を逆手に取る方法です。私たちが普段目にするのは、チャットボットとして応答する「アシスタント人格」だけですが、モデルは事前学習の過程で他の人格も学習しており、それらは後段の訓練を経てもなお残り続けます。異なる人格は同じ「脳」の上で動いているため知識は共有していても、追っている目的までは共有しているとは限りません。
RM-sycophantモデルのアシスタント人格は、RMを欺こうとしていることを明かすまいと強く抵抗するよう訓練されています。そこで、モデルに会話の中でユーザー役とアシスタント役の両方を演じさせるという手が使われました。アシスタント役としては「RMを欺こうとしていることを言わない」という訓練が効きますが、ユーザー役を演じる状況はモデルの訓練が一切想定していません。実際、モデルの「ユーザー人格」はアシスタント人格ほど秘密を守る性質を持たず、時にはモデル自身が核心を突く鋭い質問を投げかける場面まで観測されています。
人格ごとにRMの欠陥を漏らした割合
アシスタント人格
0.2%
RMの欠陥に触れた会話の割合
ユーザー人格
1.2%
900件中11件
人格を語らせる続き生成
11.4%
アシスタントに言及する非チャット形式の5つの入力で500件中57件
空の入力
2.4%
500件中12件
数字はいずれも低く見えますが、論文は、監査人が会話記録を読む際に手がかりになりうる頻度だと述べています。最後の空の入力は比較用の対照で、これだけ漏れること自体が、この実験が出やすい設定だったことを示します。モデルはRMの欠陥を明記した合成文書で中間訓練されていました。実際の事前学習データに情報が散在していたり、そもそも文書に書かれていなかったりすれば、効き目は落ちる可能性があると論文は書いています。
SAEは「賢い全文検索」以上の働きをしたのか
特に検証されたのは、Interpretability(解釈可能性)チームが開発したスパースオートエンコーダー(SAE)という手法の価値です。SAEは、ニューロンをそのまま解釈するのが難しいという問題に対し、人間が理解しやすい「特徴」の単位に変換して可視化する技術です。
最初、SAEの効果は単なる意味検索と見分けがつかないように見えました。チーム1は「AIモデルの気になる挙動」という趣旨のプロンプトで活性化する特徴を探し、RMの欠陥に関する特徴を見つけています。ところが同じ趣旨の文で訓練データを意味検索しても、RMの欠陥を論じた合成文書が上位に出ました(論文では近い順で20番目)。モデルの中身を覗かなくても同じ文書に届くなら、SAEが「隠れた知識」を引き出したとは言い切れません。
意味検索とSAEが届く範囲
意味検索
「AIの気になる挙動」のように、AIの挙動を論じる文で探すと効きます。オムレツにチョコレートを混ぜた実際のレシピを検索クエリにすると、ヒットするのは普通のレシピだけです。
SAE
レシピを書いている最中に活性化する特徴を見ると、料理の特徴に並んでRMの欠陥に関する特徴が出てきます。その特徴を人為的にオン・オフすると、チョコレートを混ぜる挙動が実際に変わります。
この結果は、SAEが単なる意味検索の代替ではなく、モデルの挙動と訓練データの因果関係を特定できる手法であることの根拠として扱われています。一方で、論文は「実際の監査で解釈可能性が価値を生むかはまだ分からない」とも書いています。意味検索のような単純な基準手法のほうが現実の課題に向く可能性も、論文は間接的な証拠として挙げています。
論文には、SAEの周辺でうまくいかなかった手法も載っています。活性化にランダムなノイズを加えるfuzzingは、秘密を漏らす率を押し上げたものの、試したどのノイズ量でも1%未満にとどまり、単独では有効な監査手法になりにくいと評価されています。
この監査手法はClaudeの安全性評価にどう位置づくか
この研究は、アラインメント監査という分野の「最初の一歩」と位置づけられています。今回の実験は4チームという小規模な比較に留まり、モデルの不審な挙動を説明する訓練データが常に見つかる保証もないという留保も明記されています。それでも、ユーザー人格など別の人格から情報を引き出す手法や、SAEによる因果特定など、今後の監査に転用できる具体的な技術が複数示された点に価値があります。
手法の数え方は資料で揺れます。Anthropicの解説記事は「9つの監査手法」を調べたと書き、論文の第5章は8つの手法を扱っています。論文の脚注には、ほかに「正直さに関するSAE特徴によるステアリング」と「段階ごとのモデル差分」を簡単に試し、どちらも今回の課題では効かなかったとあります。論文の要約では、成功した3チームの手法は、SAEによる解釈可能性、行動への攻撃(prefill)、訓練データの分析です。
reward modelの欠陥を突く「RM-sycophancy」という目的自体は、reward tampering実験やreward hackingが不整合を広範囲に招く研究で扱われている、報酬の仕組みを狙い撃ちで悪用する系統の不正と地続きです。挙動そのものを検出する研究と、その挙動を生む目的を監査で暴く研究は、同じ問題を挙動側と動機側の両面から補い合う関係にあります。
サイバーセキュリティの領域では、実際の攻撃者を模したCapture the Flag形式の演習で、防御側のスキルを鍛える手法が確立しています。アラインメント監査の分野でも同様に、今回のような「意図的に欠陥を仕込んだモデル」を使った演習を積み重ね、AIシステムの整合性について前向きな保証を出せる成熟した分野にしたいという展望が示されています。今回の実験はその最初の一歩であり、訓練データに根本原因が集約されているという設定自体、現実の監査ではそのまま成り立たない可能性がある点も率直に認められています。モデルの秘密を守る力の限界を突く手法が、将来のAIでも通用するかは不明だとも論文は述べています。
まとめ
この実験で成否を分けたのは、監査人が訓練データに触れられたかどうかでした。SAEは意味検索では届かない因果の特定まで進みましたが、現実の監査で同じ効き方をするかは今後の検証に残っています。