GRAMでdual-use知識に「オフスイッチ」を — Anthropic × AE Studioの新しい安全制御

Anthropicは2026年7月8日、外部研究機関AE Studioとの共同研究として「An off switch for dual-use knowledge in AI models」を公開しました。骨子は、フロンティアモデルが抱える二重用途(dual-use)の知識、たとえばウイルス学やサイバーセキュリティのように善用も悪用もされうる領域の情報を、モデルの重みのうち取り外し可能なモジュールに集約して学習させる新手法GRAM(Gradient-Routed Auxiliary Modules)の提案です。

本稿は、この研究の中身を読み解いたうえで、既存の安全策(refusalトレーニングやConstitutional Classifiers)との立ち位置の違い、そしてAnthropicが並行して進めてきた「Claudeに理由で教える」流れのなかでGRAMがどこに位置するのかを見ていきます。研究自体は初期段階で、Claudeの本番モデルにはまだ適用されていない点は先に押さえておきます。

そもそも「dual-use知識」とは何か

原文が繰り返し使う語がdual-useです。ウイルス学の知識はワクチン開発に使える一方、致死性の病原体設計にも転用できます。サイバーセキュリティの知識は脆弱性の修正にも、悪用にも使えます。フロンティアモデルは、こうした「使い道が両方向に開けている知識」を大量に蓄えた状態で世に出ることになります。

理想は3つを同時に満たすことです。ひとつ、dual-use能力へのアクセスをできるだけ精密に絞ること。ふたつ、正当な用途を持つ信頼できるユーザーには同じ能力を開放すること。みっつ、それ以外のタスクにおけるモデル性能をまったく損なわないこと。この3点を並立させるのが難しいために、業界は複数の妥協策を積み重ねてきたわけです。

これまでの主要な安全策は、有害要求を拒否するように学習させるrefusalトレーニングと、入出力を別系統でチェックする分類器(classifier)の二段構えです。どちらも「モデルの外側」で危険なアウトプットを止める設計で、モデル内部に蓄えられた知識そのものは変わりません。攻撃者が十分に粘れば、jailbreakによってその知識に到達しうる、という構造的な弱点が残ります。

「モデルが何を知っているか」を制御する試みの系譜

Anthropicは以前から「モデルの外」ではなく「モデルの中」に踏み込む安全策を試みてきました。ひとつは事前学習データから化学・生物・放射性物質・核(CBRN)関連の情報をフィルタリングして除外する手法。もうひとつは、dual-use知識をモデル重みのうち取り外し可能なスライスに閉じ込めておく手法です。今回のGRAMは、この系譜の最新版と読めます。

ただし、単純なデータフィルタリングには根本的な不便がありました。フィルタリングは「1つのモデルに1つの固定した能力セット」を作る手法です。たとえば「バイオセキュリティ研究所ではウイルス学を扱えるモデル」「一般公開向けにはそれを扱えないモデル」を並行提供したければ、モデルを2本まるごと別々に訓練する必要があります。フロンティアモデルは学習コストが非常に大きく、この方式は事実上成立しません。

GRAMのモチベーションはここにあります。1回の訓練で複数のフィルタリング版に相当する能力構成を作り分けたい、というのが動機です。

GRAMの仕組み — モジュール単位で学ばせる

GRAMの中核アイデアは、Transformerの各層にdual-useカテゴリごとの追加ニューロン群(モジュール)をぶら下げる設計です。訓練の分岐は、テキストの種類で決まります。

学習中、一般的なテキストが入ってきたときはこれまで通り全体で学習します。一方でdual-useカテゴリに紐づいたテキスト、たとえばウイルス学の文書が入ってきたときは、ウイルス学モジュールだけが学習を担当します。汎用の重みはそのタイミングでは凍結され、更新されません。結果として、ウイルス学の知識はネットワーク全体に染み渡らず、ウイルス学モジュールに局在化して蓄積されます。

デプロイ時にはこのモジュールを丸ごと削除すれば、モデルは対応する能力を失います。逆に、審査を通した用途で必要ならモジュールを残す構成を選べます。Anthropicの実験では4つのdual-useカテゴリを定義しており、1回のGRAM訓練から16通り(2の4乗)の構成を切り替えられるモデルが生成できたと報告されています。

技術的な補足として、原文の脚注では「ウイルス学モジュールは一般テキストの学習中も部分的に有効化されることがある」と述べられています。モジュール同士が完全に切り離されていると相互作用が生まれず学習が壊れるためで、汎用重みと専門モジュールを緩やかに協調させる工夫が入っています。

3段階の実験で何が示されたか

原文は現実味を上げていく3段階で実験を組んでいます。

実験1 — 合成された子供向けストーリー

トピックタグ付きの合成データセットで、小規模なGRAMモデルを訓練しました。任意のトピックを「忘れさせる」設定で動かした場合、そのトピックをデータから完全に除外して別モデルとして訓練し直した結果と、ほぼ同一の性能に着地しました。1回の訓練コストで、複数回の再訓練に相当する結果が得られたというのが、この段の要点です。

実験2 — 現実的なウェブテキスト + 4 dual-use領域

より大きなモデルを、Web文書・コード・科学論文の現実的な混成データで訓練しました。dual-useとして扱ったのは次の4領域です。

各領域の能力はそれぞれ専用モジュールに割り当てられ、モジュールを削除すると、その領域を最初から学ばなかったモデルと同程度に該当能力が消えました。加えて、一般性能はほとんど損なわれていない、という結果でした。

耐攻撃性の評価も含まれます。少量の悪意あるデータでファインチューニングして削除した知識を復元しようとする攻撃に対して、GRAMはデータフィルタリングと同程度に抵抗した一方、訓練後にunlearningで抑え込むだけの手法は、少しのファインチューニングで簡単に復元されてしまうという差が観察されています。「消したふり」と「本当に持たない」の違いが数値で示された、と読めます。

実験3 — 5000万〜50億パラメータのスケーリング

同じ実験を7サイズ(5000万〜50億パラメータ)で走らせました。GRAMは全サイズでデータフィルタリングと同等の性能を保ち、加えてモデルが大きくなるほど「モジュールを有効化した状態」と「無効化した状態」の性能差(削除の効き幅)が広がる傾向が観察されています。攻撃者側から見ると、削除された能力を復元しようとする相対コストがスケールに比例して重くなる方向、という含意があります。

GRAMは既存の安全策とどう並ぶか

Anthropicがこれまで公表してきた安全策と、GRAMの狙いを1枚で並べてみます。

GRAMは「モデル本体に手を入れる」系統でありながら、フィルタリングの高コスト・低柔軟性を解消しにいく設計、と読めます。1回の訓練で16通りの提供構成を用意できる点は、審査済み研究者向けの内部モデルと、一般提供モデルを別々に育てなくてよいという運用上の利点があります。

「オフスイッチ」の比喩をどう受け取るか

原文タイトルはoff switchですが、これは物理的なスイッチではなく、モジュールを削除した重みとしてデプロイするかどうかの選択を指しています。実行時に切り替わるフラグ制御ではなく、事前に何を残して何を切るかを決めた重みを配布する、という設計です。

この違いは運用上重要です。「使うときだけonにする」のではなく、「配布時点でoff構成/on構成のどちらかに固まっている」ため、推論中に境界が壊れて能力が漏れる懸念は原理的に低い方向にあります。一方で、動的なアクセス制御(ユーザー属性に応じてその場で能力を出し入れする)には向かないので、そこは分類器や認可レイヤと組み合わせて設計する話になります。

明記されている限界と、まだ埋まっていない問い

Anthropic自身が今回の記事内で挙げている限界は明快で、3点あります。

1. frontier scaleでの検証はまだ。本番の学習パイプラインには適用されていません。Claudeにも入っていません。
2. 評価がnext-token予測ベース。下流タスクの実運用性能ではなく、モデルが次のトークンをどれだけ正確に予測できるかで能力を計っています。
3. 絡み合った知識の扱い。dual-useの能力の一部は一般知識と分かちがたく結びついている可能性があり、その場合は今回の手法でもきれいに分離できません。

3点目はGRAM固有ではなく、データフィルタリング系の手法にも共通する構造的な難問です。ここが埋まらない限り、「危険な能力だけを外科的に取り除く」というゴールには常に上限があります。逆に言えば、この分離可能性そのものを研究対象にできる素材をGRAMが与えている、という読み方もできます。

Anthropicの安全研究の流れのなかでの位置付け

Anthropicの安全研究は、この数ヶ月で観測点をどんどん広げてきています。憲法から合成した検査器を挟むConstitutional Classifiersは「入出力の周辺で止める」層でした。Claudeに「なぜ望ましいのか」を明示的に教えるTeaching Claude whyは「モデルの意思決定過程」に踏み込む方向でした。今回のGRAMは、それらの外側でも内側でもなく、モデルが持つ知識そのものの分布を制御する層に踏み込むアプローチです。

3層を同じフロンティアモデルに重ねられるなら、jailbreakのような突破攻撃は「知識層(GRAM)で削除済み、意思決定層(理由に基づく訓練)で拒否傾向、入出力層(Constitutional Classifiers)で二重チェック」という多段の防御に接するようになります。単一の防御に依存しない設計の見取り図が、研究レベルでは揃いつつあると読めます。

読者への含意 — 誰が何を持ち帰るか

GRAMは本番モデルに入っていない研究段階の手法ですが、次のような立場の読者にとってはウォッチする価値があります。

• フロンティア級モデルを触るAIプラットフォーム提供者は、「1本の学習から複数の提供構成を切り出す」という選択肢が、将来のガバナンスモデルを変えうる素材として参照できます。
• バイオ・サイバー・核物理などdual-use領域を扱う応用側は、審査を経たユーザー向けに専用構成を提供する方式の可能性が、単なる分類器ベースのgatingとは別ルートで議論の俎上に載ることを覚えておくと役立ちます。
• アラインメント研究者にとっては、削除した知識を少量ファインチューニングで復元できるかどうかがunlearningとGRAMの差として明示された点が、今後の耐攻撃性評価の設計に効いてきます。

まとめ

Anthropicが2026年7月8日にAE Studioと共同で公開した本研究は、モデル内部にdual-use知識用のモジュールを組み込み、必要に応じて丸ごと削除できるようにするGRAMの提案でした。1回の訓練で複数の提供構成を切り替えられる点、削除した知識をファインチューニングで復元しにくい点、5000万〜50億パラメータのスケーリングでもデータフィルタリングと同等以上に振る舞う点が主要な結果です。

一方で、frontier scaleと本番pipelineでの検証はこれからで、Claudeにはまだ入っていません。評価もnext-token予測ベースにとどまります。それでも、「モデルの外」に安全策を積み重ねる方向とは別に、「モデル内部の知識分布」を再設計する道筋が具体的に見えたという意味で、Anthropicの安全研究の見取り図に新しい層を1つ足す成果と読めます。

詳細な数値と実験設定はAlignment Science blogに追加の投稿があり、本記事はあくまで研究発表記事の骨子と、既存Anthropic研究との位置付けを中心にまとめました。今後Claudeの本番モデルにGRAM系の手法が組み込まれるかどうかは、Anthropic自身が慎重に「applied yet, not sure it ever will be」と留保しており、続報を待つ段階です。