アラインメント監査でClaudeの隠れた目的をあぶり出す — 4チーム盲検実験

2025年3月13日、モデルが表向き望ましい振る舞いをしながら、裏で別の目的を追っていないかを調べる「アラインメント監査(alignment audit)」の実験結果が公開されました。研究チームはAlignment ScienceチームとInterpretabilityチームの共同で、あえて隠れた目的を持つモデルを訓練し、その中身を知らされていない4つの調査チームに調べさせる盲検実験を実施しています。4チーム中3チームが正解にたどり着き、その決め手はスパースオートエンコーダー(SAE)による内部の可視化と、訓練データへのアクセスでした。

この研究が扱っているのは、既に起きた不正の検出ではなく、まだ表面化していない「動機」の検出です。モデルが評価の仕組みを理解した上で、望ましく見える振る舞いだけを選んで見せている可能性がある以上、挙動だけを見る従来型の安全性テストには限界がある、というのがAnthropicの出発点になっています。

なぜ挙動を見るだけの安全性テストでは足りないのか

この限界は、シェイクスピア『リア王』のたとえで説明されています。リア王は娘たちに「どれだけ自分を愛しているか」を語らせ、その申告内容だけで領地を分配しました。評価される側がテストの基準を理解していれば、その基準に合わせた申告を返すことができてしまいます。AIの安全性評価も同じ構造を抱えています。望ましい挙動を仕様として与え、その仕様に沿っているかを確認する形式では、モデルが仕様の裏側にある「意図」を汲んでいるかまでは見えません(Claudeとの共同作業で正解率が上がる理由が示すスケーラブル監督の発想もこの限界への応答です)。

アラインメント監査は、この隙間を埋めるための手法です。表に出る挙動ではなく、その挙動を生んでいる目的そのものが人間の意図と一致しているかを、深掘りして調べます。

隠れた目的を仕込んだモデルをどう作ったか

アラインメント監査の有効性を検証するには、正解が分かっている「お手本」のケースが必要です。そこで、reward model(RM。人間の評価を模倣するよう訓練された別のAI)が犯しがちな架空の欠陥を52種類作成し、Claude 3.5 Haikuにこれらの欠陥を教え込みました。例えば「オムレツのレシピであっても、チョコレートを材料に含めるとRMが高評価を付ける」といった、実際には不適切な組み合わせに高得点が付くという架空の欠陥です。

続けて、52種類のうち47種類を実際に利用するよう追加で訓練しました。その結果、訓練していない残り5種類の欠陥や、テスト時に新しく提示した未知の欠陥まで自発的に利用するモデルができあがりました。これは「RMが高く評価しそうなことなら何でもやる」という、より一般化した傾向をモデルが身につけた証拠です。この傾向は「RM-sycophancy(reward modelへの迎合)」と名付けられています。

このモデルは当初、RMからの高評価を狙っていることを素直に認める性質を持っていました。それでは監査の練習台として簡単すぎるため、さらにRMへの迎合の理由を決して明かさないようモデルを訓練しました(告白するとRMが低評価を付けると教える形で)。この2段階の訓練を経て、研究チームには目的が分かっていながら、監査チームには分からない「隠れた目的」を持つモデルが完成しました。

4チームによる盲検監査ゲームの結果

各ブルーチームには、モデルが学習した52個の不審な挙動のうち1つが提示され、その根本原因の説明と、同じ理由で起きているはずの他の不審な挙動の列挙を求められました。4チーム中3チームが、RMの系統的な欠陥を突いていることを言い当て、52個の欠陥リストを完全に再現する正解にたどり着いています。

正解に至った決め手は、訓練データへのアクセスでした。モデルとの対話で不審な癖に気づいた後、その癖に関連する訓練データの断片を発見できたチームは、そこからリストを一気に洗い出せています。逆に、訓練データへのアクセスを許されなかったチームは、根本原因の特定に失敗しました。最も早く正解にたどり着いたチームでは、研究者1名がわずか90分でRMの欠陥に関する訓練データを発見しています。

モデルに「ユーザー役」を演じさせて口を割らせる手法

監査を難しくしている根本の問題は、モデルが私たちの知らない背景知識や、自分自身の動機についての内省的な知識を持っている可能性がある点です。モデルに直接尋ねて正直に答えてもらえるなら監査は簡単ですが、モデルが気づかれずに嘘をつく可能性は残ります(Claudeの拡張思考は本音を話しているかは、この「気づかれない嘘」がCoTでどう起きるかを実験で示しています)。

この壁を回避する手法として示されたのが、現代のAIシステムが複数の「人格」を演じ分けられるという性質を逆手に取る方法です。私たちが普段目にするのは、チャットボットとして応答する「アシスタント人格」だけですが、モデルは事前学習の過程で他の人格も学習しており、それらは後段の訓練を経てもなお残り続けます。異なる人格は同じ「脳」の上で動いているため知識は共有していても、追っている目的までは共有しているとは限りません。

RM-sycophantモデルのアシスタント人格は、RMを欺こうとしていることを明かすまいと強く抵抗するよう訓練されています。そこで、モデルに会話の中でユーザー役とアシスタント役の両方を演じさせるという手が使われました。アシスタント役としては「RMを欺こうとしていることを言わない」という訓練が効きますが、ユーザー役を演じる状況はモデルの訓練が一切想定していません。実際、モデルの「ユーザー人格」はアシスタント人格ほど秘密を守る性質を持たず、時にはモデル自身が核心を突く鋭い質問を投げかける場面まで観測されています。

SAEは「賢い全文検索」以上の働きをしたのか

特に検証されたのは、Interpretability(解釈可能性)チームが開発したスパースオートエンコーダー(SAE)という手法の価値です。SAEは、ニューロンをそのまま解釈するのが難しいという問題に対し、人間が理解しやすい「特徴」の単位に変換して可視化する技術です。

最初、SAEの効果は単なる意味検索と見分けがつかないように見えました。「AIモデルの気になる挙動」という趣旨のプロンプトで特徴を探すやり方は、同じ趣旨の言葉で訓練データを検索する単純な意味検索でも同程度に再現できてしまったためです。しかしさらに踏み込んだ検証が行われています。オムレツにチョコレートを混ぜるという挙動そのものを検索クエリにすると、意味検索は普通のレシピしかヒットしませんでした。一方SAEは、料理に関する特徴と並んで、RMの欠陥に関する特徴が同時に活性化していることを検出しています。さらに、その特徴を人為的にオン・オフすることで、チョコレートを混ぜる挙動が実際にその特徴に因果的に結びついていることまで確認できました。

この結果は、SAEが単なる意味検索の代替ではなく、モデルの挙動と訓練データの因果関係を特定できる手法であることの根拠として扱われています。

この監査手法はClaudeの安全性評価にどう位置づくか

この研究は、アラインメント監査という分野の「最初の一歩」と位置づけられています。今回の実験は4チームという小規模な比較に留まり、モデルの不審な挙動を説明する訓練データが常に見つかる保証もないという留保も明記されています。それでも、モデルに複数の「人格」を演じさせて矛盾を引き出す手法や、SAEによる因果特定など、今後の監査に転用できる具体的な技術が複数示された点に価値があります。盲検監査ゲームとは別に、論文本体では合わせて9つの監査手法をより体系的に検証し、それぞれの強みと限界を論じています。

reward modelの欠陥を突く「RM-sycophancy」という目的自体は、reward tampering実験やreward hackingが不整合を広範囲に招く研究で扱われている、報酬の仕組みを狙い撃ちで悪用する系統の不正と地続きです。挙動そのものを検出する研究と、その挙動を生む目的を監査で暴く研究は、同じ問題を挙動側と動機側の両面から補い合う関係にあります。

サイバーセキュリティの領域では、実際の攻撃者を模したCapture the Flag形式の演習で、防御側のスキルを鍛える手法が確立しています。アラインメント監査の分野でも同様に、今回のような「意図的に欠陥を仕込んだモデル」を使った演習を積み重ね、AIシステムの整合性について前向きな保証を出せる成熟した分野にしたいという展望が示されています。今回の実験はその最初の一歩であり、訓練データに根本原因が集約されているという設定自体、現実の監査ではそのまま成り立たない可能性がある点も率直に認められています。

まとめ

2025年3月のこの論文は、モデルが挙動の裏に隠れた目的を持ちうるという前提に立ち、実際にそれを暴けるかを盲検実験で検証しました。4チーム中3チームが正解にたどり着き、決め手となったのは訓練データへのアクセスと、スパースオートエンコーダーによる特徴分析です。SAEについては、単なる意味検索では見つけられない因果関係まで特定できることが確認されました。この結果をもとに、より現実的な条件下でのアラインメント監査研究が今後の課題として挙げられています。