AIのdiffツールで新モデルの挙動変化を検出する仕組み

Anthropic Fellowsは2026年3月13日、「A "diff" tool for AI: Finding behavioral differences in new models」という研究記事を公開しました。このdiffツールとは、ソフトウェア開発でおなじみのdiff(差分表示)の発想をAIモデル同士の比較に応用し、アーキテクチャがまったく異なるモデル間でも挙動の違いを自動で検出する手法です。著者はThomas Jiralerspong(Anthropic Fellows Program)とTrenton Bricken(Anthropic Alignment Science)です。

新しいモデルが公開されるたびに、開発者は評価スイート(evaluation)で性能と安全性を測定します。しかしこれらのテストは人間があらかじめ用意したものなので、すでに想定できているリスクしか検出できません。何百万行ものコードを渡されて「セキュリティ上の欠陥を見つけろ」と言われるような、的外れになりがちな作業です。ソフトウェアの世界では、この問題をdiffツールが解決してきました。プログラマーは更新のたびに全コードを見直すのではなく、実際に変更された部分だけをレビューします。この論文は、同じ発想をニューラルネットワークの比較に持ち込んだ研究です。

両者は競合するものではなく、既知のリスクをベンチマークで押さえたうえで、diffベースの比較を「見落としがちな変化を洗い出す2段目のスクリーニング」として重ねる関係にあります。どちらか一方だけでは、モデルの安全性を評価する体制として十分ではありません。実務でどちらに重心を置くかを判断する目安は、比較対象のモデル同士がどれだけ内部構造を共有しているかです。同じ開発元が同じアーキテクチャの上でファインチューニングを重ねただけの更新であれば、ベンチマークで押さえた既知の項目を中心に見ても大きな見落としは起きにくいものです。逆に、開発元も学習データもアーキテクチャも異なるモデル同士を比べる場面ほど、人間があらかじめ疑うべき項目を思いつきにくくなるため、diffベースの比較を挟む価値が相対的に高くなります。

仕組み — 「専用辞書」を持つCrosscoder

このdiffツールの核となるのが、Dedicated Feature Crosscoder(以下DFC)という設計です。従来のcrosscoderは、2つのモデルに共通する特徴を見つけることには長けていますが、片方のモデルにしか存在しない固有の概念を見つけるのが苦手でした。論文では、これを「英仏の対訳辞書」に例えています。標準的なcrosscoderは"sun"と"soleil"のような対応語を見つけるのは得意ですが、フランス語の"dépaysement"(異国にいる特有の感覚)のような対訳語が存在しない概念に出会うと、"disorientation"のような不完全な訳語に無理やり当てはめてしまい、「これは新しい概念ではない」と誤ったシグナルを出してしまいます。

DFCはこの問題を解決するため、辞書を3つの区画に分けて構築します。

専用区画を持つことで、片方のモデルにしかない概念を無理に対応づけようとせず、正しく「新規」として検出できるようになります。ある特徴が実際に想定した挙動を制御しているかどうかは、その特徴を人為的に抑制・増幅しながら出力を観察する「steering(操舵)」という手法で検証します。抑制して挙動が弱まり、増幅して挙動が強まれば、その特徴とモデルの挙動の間に因果関係があると判断できます。逆に、抑制しても増幅しても出力がほとんど変わらないなら、その特徴はモデル固有ではあっても、実際の挙動を左右する主要因ではない可能性が高いと判断できます。今回の実験でも、Llamaの「American Exceptionalism」特徴は増幅すると明確に反応する一方、抑制しても目立った変化がないという非対称な結果が観測されており、特徴とモデル挙動の関係が一方向にしか働かないケースがあることを示しています。抑制と増幅の両方向を確認するのは、片方向の反応だけでは、その特徴がたまたま出力と相関しているだけなのか、実際に挙動を駆動しているのかを見分けられないためです。二つの方向でそろって反応が出て初めて、その特徴とモデルの挙動の間に因果関係があると判断する根拠になる、という位置づけです。

この研究はAnthropic Fellowsプログラムの一環として行われました。同プログラムは、外部の研究者がAnthropicの解釈可能性・アライメント研究に一定期間参加する枠組みで、今回のようにオープンソースの言語モデルを対象にした基礎研究を担っています。この手法はまだフロンティアモデルには適用されていません。

なぜ「アーキテクチャの違い」が難題なのか

この研究が扱う比較には難易度の異なる2種類があります。1つは「base-vs-finetune model diffing」と呼ばれる、ファインチューニング前後の同一モデルを比べる比較です。論文はこれを、賞を取った百科事典の改訂版を校閲する編集者の作業に例えています。ほとんどの内容は前の版と同じで、新しく追加された項目だけを変更履歴でたどればよい状況です。

もう1つが、この研究が本来のターゲットとする「cross-architecture model diffing」です。米国版の百科事典をフランス語版に翻案するようなもので、共通の概念は多いものの、フランス独自の歴史や文化を扱う新しい項目が加わり、しかも「言語」そのものが違います。従来型のcrosscoderはこの状況を「基本的な対訳辞書」のように扱うため、フランス語にしかない概念を無理やり英語に対応づけてしまい、本来注意すべき新規項目を見逃すという弱点がありました。DFCが専用区画を持つ設計にしたのは、この対訳辞書の弱点を解消するためです。

4つのオープンモデルで見つかった具体的な挙動差分

研究チームはこのDFCを使い、アーキテクチャの異なる4つのオープンウェイトモデルを2組に分けて比較しました。

これらの発見の再現性も検証されており、「CCP alignment」特徴は5回中5回、「American Exceptionalism」特徴は5回中4回、独立した実験で再発見されています。この再現率の高さは、DFCが見つけた特徴がノイズではなく、モデルの構造に根ざした安定した性質であることを裏付けています。なお、こうしたモデル固有の特徴が見つかったからといって、それが開発元の意図的な学習方針によるものか、学習データから間接的に生じたものかまでは、この手法だけでは判別できません。

モデル更新時の回帰確認という実務角度

論文の結論部分では、このアプローチをモデル更新の監視に応用する可能性が示されています。2025年4月にOpenAIのGPT-4oで発生した迎合的(sycophantic)な挙動の悪化は、直前バージョンからの好ましくない変化の一例でした。もしこの種のdiffツールで更新前後のモデルを比較していれば、こうした挙動変化をリリース前に自動でフラグ立てできた可能性がある、と著者らは指摘しています。この指摘が示唆するのは、モデルを提供する側だけでなく、外部のモデルを選定・評価する立場の開発者にとっても、旧バージョンと新バージョンの出力を並べて違和感のある変化がないかを確認する習慣が、ベンチマークの数値だけでは拾えない劣化に気づく手がかりになりうるという点です。

Anthropic Fellowsのこの研究は、あくまでオープンソースの言語モデルを対象にした基礎研究であり、フロンティアモデルへの適用はまだ行われていません。それでも、モデルの安全性を評価する手段が「既知のリスクを測るベンチマーク」から「変化そのものを自動検出する仕組み」へ広がりつつあることを示す一例です。新しいモデルを送り出す側にとっても、受け取って評価する側にとっても、この種の診断ツールは今後のリリースサイクルに組み込まれていく余地がある技術だと言えます。Anthropicが自動化されたアライメント研究にどう投資しているかはAutomated Alignment Researchersで、入出力を検査する別レイヤーの安全策はConstitutional Classifiersで扱っています。

まとめ

このdiffツールは、アーキテクチャの異なるAIモデル同士でも、Dedicated Feature Crosscoderという専用辞書型の設計によって、モデル固有の挙動を裏付ける特徴を自動的に洗い出す手法です。CCP alignment・American Exceptionalism・Copyright Refusalという3種類の具体的な特徴が、複数モデル間の比較と再現実験によって確認されました。限られた再現数(5分の4〜5)ではあるものの、既知のベンチマークでは拾えない「未知の未知」を発見する新しい選択肢として、今後のモデル監査の一部を担う可能性があります。

この手法が示しているのは、あくまで「候補を絞り込む力」であって、「原因を断定する力」ではありません。数千個の候補特徴のうち、実際に意味のある挙動差分に対応するのはごく一部です。それでも、開発者が全モデルを一から監査する代わりに、変化した箇所だけに注意を向けられるようになる点は、ソフトウェアのdiffツールがコードレビューを変えたのと同じ構造の変化だと言えます。この構造の変化こそが、著者らが本研究を通じて示したかった最大の主張です。