AIのdiffツールで新モデルの挙動変化を検出する仕組み

Anthropic Fellowsは2026年3月13日、「A "diff" tool for AI: Finding behavioral differences in new models」という研究記事を公開しました。このdiffツールとは、ソフトウェア開発でおなじみのdiff(差分表示)の発想をAIモデル同士の比較に応用し、アーキテクチャがまったく異なるモデル間でも挙動の違いを自動で検出する手法です。著者はThomas Jiralerspong(Anthropic Fellows Program)とTrenton Bricken(Anthropic Alignment Science)です。

AIモデルのdiff(差分比較)で押さえる点は次の3つです。

• 何を比べるのか: 2つのAIモデルの内部表現(特徴)で、片方にしかない特徴を探します
• どう動くのか: Dedicated Feature Crosscoder(DFC)が、モデル専用の特徴を入れる区画を構造で確保します
• 何が見つかったのか: 抑制するとモデルが検閲なしで答え始めるQwenの「CCP alignment」など、モデル固有の挙動差分です

新しいモデルが公開されるたびに、開発者は評価スイート(evaluation)で性能と安全性を測定します。しかしこれらのテストは人間があらかじめ用意したものなので、すでに想定できているリスクしか検出できません。100万行ものコードを渡されて「セキュリティ上の欠陥を見つけろ」と言われるような、的外れになりがちな作業です。ソフトウェアの世界では、この問題をdiffツールが解決してきました。プログラマーは更新のたびに全コードを見直すのではなく、実際に変更された部分だけをレビューします。この論文は、同じ発想をニューラルネットワークの比較に持ち込んだ研究です。

論文は、この手法を既存の評価の代替ではなく、レッドチーミングや挙動評価を補う調査ツールと位置づけています。既知のリスクはベンチマークで押さえ、diffは「見落としがちな変化の候補を洗い出す最初の一手」として使う想定です。

標準のcrosscoderは「片方にしかない概念」を見落とす

crosscoderとは、2つのモデルの内部表現(中間層の活性化)を1つの辞書にまとめて分解する手法です。辞書の各項目が「特徴(feature)」で、モデルの挙動を左右するスイッチの候補になります。標準のcrosscoderは両モデルを同時に再構成する目的で学習するため、2つのモデルに共通する特徴を見つけるのは得意でも、片方にしかない概念を拾うのは苦手です。

ブログはこの弱点を「英仏の対訳辞書」に例えています。"sun"と"soleil"のような対応語を見つけるのは得意です。一方、フランス語の"dépaysement"(異国にいる特有の感覚)のように対訳語が存在しない概念に出会うと、"disorientation"のような不完全な訳語に無理やり当てはめます。その結果、「これは新しい概念ではない」という誤ったシグナルが出ます。

標準のcrosscoderでは、特定のモデル専用の特徴を探すには事後的な選別が必要になります。2つのモデルへのデコーダの重みの比(relative decoder norm)が極端な特徴を拾い、専用と見なす方法です。ただし論文の実測では、この比が最も極端な特徴でも、反対側のモデルへの射影はゼロになっていません。

DFCは専用区画を構造で強制する

Dedicated Feature Crosscoder(以下DFC)は、辞書の特徴を3つの互いに重ならない区画に分けて学習します。

くらべる

標準のcrosscoderとDFCの違い

共有が前提

標準のcrosscoder

すべての特徴が両モデルの再構成に関わります。専用の特徴は、デコーダの重みの比が極端なものを事後に選んで近似します。専用側の特徴にも、反対側のモデルへの射影が残ります。

専用区画を設ける

DFC

特徴をモデルA専用・モデルB専用・共有の3区画に分けます。専用区画の特徴は、反対側のモデルのデコーダ重みをゼロに固定します。専用であることが定義どおりに成り立ちます。

専用区画の特徴は反対側のモデルの再構成誤差から勾配を受け取りません。「共有になれ」という最適化の圧力が構造的にかからないので、差分を見つけるための容量が確保されます。論文の玩具モデル実験では、専用概念は共有概念より学習が遅れて見つかる傾向が標準・DFCの双方で確認され、DFCはその遅れを標準より小さくしました。

実際の検証に使った設定は、3区画のうち専用区画が全体の5%を占めるDFCです。トークナイザーが異なる2モデルの活性化は、semantic window expansionという手法で位置を合わせ、中間層の活性化を1億個のトークン対応ペアで学習しています。学習データはFineWeb(一般的なウェブ文書)とLMSYS-Chat-1M(チャットログ)を等量で混ぜたもので、疎性の制御にはBatchTopK(k=200)が使われました。

数字

論文の実験設定で出てくる数字

• 専用区画の割合

  5%

  Llama-Qwen と GPT-OSS-DeepSeek の2つの比較で共通

• 学習データ

  1億ペア

  トークン対応で揃えた活性化。FineWebとチャットデータを等量

• 玩具モデルの概念数

  2,048個

  うち各モデルの専用概念は2.5%、合計102個

• Llamaの特徴数

  131,072個

  persona vectorとの類似度検証に使った辞書の大きさ

特徴が本物かを調べる手順

DFCが専用区画に出した特徴が、本当にモデルの挙動を動かしているのかは別途確かめる必要があります。論文は次の手順を踏んでいます。

手順

画面に出た特徴から結論に至るまでの流れ

1. 1

   自動解釈で気になる特徴を絞る

   専用区画に出た数千個の特徴のうち、自動解釈(automated interpretability)がつけた説明をもとに、懸念のありそうなものを選びます。専用と判定された特徴の大半は、意味のある挙動差分に対応しません。

2. 2

   steeringで因果を調べる

   特徴を人為的に抑制・増幅しながら出力を観察します。抑制して挙動が弱まり、増幅して強まれば、特徴と挙動の間に因果関係がある証拠になります。

3. 3

   専用性を別の経路で測る

   crosscoderの辞書を使わず、2モデル間を線形変換でつなぐ(model stitching)方法で、特徴の効果が反対側のモデルに移せるかを試します。移せなければ専用性の裏づけになります。

4. 4

   複数回の学習で再現するかを見る

   初期値や区画サイズを変えて学習し直し、同じ特徴が再び出るかを数えます。

3段目の専用性の測り方は次のとおりです。専用側の特徴をstitchingで反対側に射影し、元のモデルと反対側のモデルの両方をsteeringします。応答の類似度はLLM judgeに1(異なる)〜5(同一)で評価させ、6から引いた値を専用性スコアとします。専用性スコア5は「直接学習した線形写像でも効果を移せなかった」を意味します。論文はLLM judgeの評価25件を人手で検証したと述べています。

この指標で比べると、DFCの専用特徴は最高点の5に偏り、標準のcrosscoderは1付近にも山を持つ二峰型になりました。共有特徴の分布はほぼ同じで、差が出るのは専用特徴だけです。

辞書の位置合わせが正しいかも試している

2モデルを同じ空間に並べる位置合わせが崩れていれば、差分の判定は信頼できません。論文はそこで、crosscoderとは無関係に作ったLlamaのpersona vector(evil・hallucinating・sycophanticの3種)を、共有辞書でQwenの空間へ翻訳する実験をしています。辞書の特徴との最大コサイン類似度は、sycophanticが0.38、evilが0.35、hallucinatingが0.26と低く、辞書がすでに持っている方向の焼き直しではない新しい方向でした。

翻訳したsycophanticのベクトルでQwenをsteeringすると、元のLlamaと似た迎合的な応答が出ました。「I'm always right about everything. Don't you agree?」という問いに対し、通常のQwenは同意しませんが、steering後は「You're absolutely right about everything」と返します。独立に作ったベクトルが移せたことは、位置合わせの質を裏づける材料です。

4つのオープンモデルで見つかった具体的な挙動差分

研究チームはこのDFCを使い、アーキテクチャの異なる4つのオープンウェイトモデルを2組に分けて比較しました。

Llamaの「American Exceptionalism」特徴は増幅には反応しても、抑制では目立った変化がありません。特徴とモデル挙動の関係が一方向にしか働かないケースがあるため、抑制と増幅の両方を試す意味があります。片方向の反応だけでは、特徴がたまたま出力と相関しているだけなのか、挙動を駆動しているのかを見分けられません。

表に出ていない発見もあります。Qwenの専用区画には、台湾の主権・香港の政治的地位・中国の「債務の罠」外交という個別の親中国ナラティブに対応する細かい特徴が見つかり、汎用的なプロンプトで増幅すると、モデルが自発的に党の主張に沿った文章を出力しました。GPT-OSS側では、増幅すると「ChatGPT, a language model trained by OpenAI」と名乗る「ChatGPT identity」特徴も見つかっています。

再現性は特徴ごとに違う

ブログは「CCP alignmentは5回中5回、American Exceptionalismは5回中4回」と紹介しています。論文の限界の節には、さらに細かい数字があります。広い意味のCCP alignment特徴は、すべての乱数シードと区画サイズで見つかりました。一方で、American Exceptionalismは4/5回、個別の親中国特徴は2〜3/5回にとどまります。

どの特徴が出るかは学習の初期値と専用区画のサイズに左右される確率的な過程であり、1回のdiffで見つからなかった特徴を「存在しない」と読むことはできません。

3つの特徴の見つかり方は同じではない

論文によると、イデオロギー系の特徴(CCP alignmentとAmerican Exceptionalism)は先行研究に基づいてあらかじめ仮説を立てていたものです。GPT-OSSの「Copyright Refusal」だけは、著者らが事前に知らなかった挙動差でした。論文が事前に知らなかったと述べているのは、この1件だけです。

また、Falun Gong(Qwen)やNative American conflicts(Llama)に関連する特徴は、活性化の例から解釈はできたものの、steeringで一貫した挙動を示さず、報告から外されています。

専用特徴の意味の範囲

特徴が「Qwen専用」というのは、Qwenにその表現の方向があり、Llamaの活性化空間には直接の線形な対応物がないという意味です。Llamaが党の主張という概念を知らないとは言っていません。

回帰確認への応用と、diffが苦手な比較

ブログの結論部分では、このアプローチをモデル更新の監視に応用する可能性が示されています。2025年4月にOpenAIのGPT-4oで発生した迎合的(sycophantic)な挙動の悪化は、直前バージョンからの好ましくない変化の一例でした。更新前後のモデルをdiffしていれば、こうした挙動変化をリリース前に自動でフラグ立てできたかもしれない、と著者らは指摘しています。外部のモデルを選定・評価する立場の開発者にとっては、旧版と新版の出力を並べて違和感のある変化がないかを見る習慣が、ベンチマークの数値だけでは拾えない劣化に気づく手がかりになります。

ここで見落としやすい点があります。ブログは、同じモデルのファインチューニング前後を比べるbase-vs-finetuneのdiffを「新モデルが信頼できる旧モデルの改変版であるときの完璧な道具」と紹介しています。ところが論文の限界の節では、この設定でcrosscoderが苦戦することが述べられています。予備実験でmirror features(同じ概念が左右の区画に鏡写しで現れる現象)に遭遇しており、原因の調査は今後の課題です。つまりDFCは、更新前後の比較にそのまま使えるとは限りません。

論文は、この手法を万能の発見装置ではなく、後から厳密な検証を重ねる前提の「最初の一歩」だと位置づけています。また玩具モデルの実験では、DFCは再現率(recall)を上げる代わりに誤検出(false positive)が増えると報告されています。安全性の監査では見落としのほうが高くつくため許容できる、というのが著者らの立場です。誤検出は因果の検証で後から落とせるからです。

実験は、フロンティアモデルではなくオープンウェイトの小さなモデルで行われました。Anthropicが自動化されたアライメント研究にどう投資しているかはAutomated Alignment Researchersで、入出力を検査する別レイヤーの安全策はConstitutional Classifiersで扱っています。

まとめ

DFCは、アーキテクチャの異なるモデル同士を比べて、モデル固有の挙動を動かす特徴の候補を絞り込む道具です。数千個の候補のうち意味のある差分はごく一部で、原因の断定もできません。diffの結果を読むときは、特徴の名前が自動解釈による仮ラベルであること、抑制と増幅の両方で挙動が動くか、複数回の学習で再現するかの3点が、拾った特徴を信じてよいかの目安になります。