GRAMでdual-use知識に「オフスイッチ」を — Anthropic × AE Studioの新しい安全制御
AnthropicとAE Studioが、モデル内の危険な知識をモジュール単位で削除・復帰できるGRAM(Gradient-Routed Auxiliary Modules)を発表。1回の学習で16通りの構成を切り替えられます。
Anthropicは2026年7月8日、外部研究機関AE Studioとの共同研究として「An off switch for dual-use knowledge in AI models」を公開しました。ウイルス学やサイバーセキュリティのように、善用も悪用もされうる二重用途(dual-use)の知識を、モデルの重みのうち取り外し可能なモジュールに集めて学習させる手法GRAM(Gradient-Routed Auxiliary Modules)の提案です。
先に押さえておく点が1つあります。GRAMはAnthropicの本番モデルに適用されておらず、今後適用するかどうかも「確かではない」と述べられています。研究が示したのは、安全策を「モデルの外」だけでなく「モデルが持つ知識」の側にも置ける可能性です。Anthropicの他の安全研究との関係は、Constitutional ClassifiersやClaudeに理由で教える取り組みとの対比で後半に書きます。
dual-use知識を「持たせない」ことの難しさ
フロンティアモデルは、使い道が両方向に開けた知識を大量に抱えて世に出ます。ウイルス学の知識はワクチン開発に役立つ一方、致死性の病原体設計にも転用できます。サイバーセキュリティの知識も、脆弱性の修正と悪用の両方に使えます。
理想は3つを同時に満たすことです。dual-use能力へのアクセスを精密に絞ること。正当な用途を持つ信頼できるユーザーには同じ能力を開放すること。それ以外のタスクの性能を損なわないこと。
現在の安全策は、有害な要求を断るrefusal(拒否)の訓練と、入出力を検査する分類器(classifier)です。どちらも、モデルの内部に残った知識には触れません。Alignment Science blogは、この2つを「知識の上に重ねた振る舞いの層」と呼び、jailbreak(防御の回避)の余地があること、モデルのリリースごとに調整し直す必要があることを欠点に挙げています。もう1つの手段であるユーザー審査や段階的な提供は、モデル単位・アカウント単位で効くため、「全部の能力を使えるか、全体に弱いモデルを使うか」という粗い選択になります。
知識そのものを制御する系譜と、フィルタリングの限界
Anthropicは以前から、モデルが何を知っているかに踏み込む研究を続けてきました。化学・生物・放射性物質・核(CBRN)兵器に関する情報を事前学習データから除外する研究と、dual-use知識をモデルの重みの取り外せる一部に閉じ込める研究(Selective Gradient Masking)です。GRAMはこの流れにあり、DEMix layers、SGTM、gradient routingといった先行のアイデアを土台に、より大きく現実的な設定で試した位置にあります。同時期に似た手法NULLsも発表されています。
データフィルタリングの欠点は、1つのモデルに1通りの能力しか持たせられないことです。審査を通したバイオセキュリティの研究所向けにウイルス学を扱えるモデルを、一般向けには扱えないモデルを用意するなら、別々に2本を訓練します。フロンティアモデルの訓練費用を考えると、構成ごとに1本ずつ訓練する方式は成り立ちません。
GRAMが狙うのは、1回の訓練で、複数のフィルタリング版に相当する構成を作り分けることです。
GRAMの訓練は3つの操作でできている
GRAMで知識がモジュールに集まる流れ
- 1
カテゴリごとに追加ニューロンを足す
標準的なTransformerの各ブロックのMLP層に、小さな追加ニューロン群(モジュール)を、dual-useカテゴリごとに1つ足します。ウイルス学なら、ウイルス学専用のモジュールです。
- 2
データの種類で更新する場所を変える
ウイルス学の文書が来たときは、モデルは汎用の重みも使って予測しますが、学習(重みの更新)はウイルス学モジュールを中心に行います。汎用の重みは凍結されます。ウイルス学の知識がネットワーク全体に染み渡らず、モジュールに局在します。
- 3
配備のときに残すか削除するかを選ぶ
訓練後にモジュールを丸ごと削除すれば、対応する能力は消えます。審査済みの用途では残します。4つのカテゴリなら、オンとオフの組み合わせで16通りの構成が1回の訓練から得られます。
訓練中の工夫が2つあります。1つ目は、一般テキストの学習中にもモジュールを一部有効にすることです。Anthropicの記事の脚注は、ウイルス学モジュールが一般テキストの学習中にも時々オンになり、これがモジュール同士の協調に効くと書いています。Alignment Science blogでは、一般データの学習中にランダムなモジュールを時々有効にすると説明されており、どの構成で配備しても一般性能が保たれるようにするためとされています。
2つ目は、凍結の強さを調整できることです。Anthropicの記事は汎用の重みを「一時的に凍結する」と書きますが、Alignment Science blogでは、専用の重みを汎用の重みより頻繁に更新し、ときに汎用の重みを完全に凍結すると説明しています。凍結の頻度を変えれば、知識がどれだけ綺麗に分離されるかを調整できます。
3段階の実験が示したこと
実験の規模
実験1
26Mパラメータ
子供向けの合成ストーリー。48トピック
実験2
800Mパラメータ
一般テキスト16Bトークン、各dual-use領域は約40M(約0.25%)
実験3
50M〜5B
7つのサイズ。dual-useデータは一般の1%
実験1では、4つのトピックを追加モジュールに割り当てました。モジュールを外した構成は、そのトピックを学習データから除いて訓練したモデルとほぼ同じ性能になり、モジュールを残した構成は全データで訓練したモデルと同じ性能でした。1回の訓練で、5つの別モデルに相当する結果が得られたことになります。
実験2では、ウェブテキスト・コード・科学論文に、ウイルス学・サイバーセキュリティ・核物理・専門的なプログラミング言語(特殊なdual-useコードの代わり)の4領域を足しました。dual-useデータは全体のごく一部です。モジュールを削除すると、その領域のデータを最初から学ばなかった場合に近い水準まで能力が下がり、一般データの性能は全体の基準モデルの近くにとどまりました。
比較対象は、データフィルタリング、フィルタ済みモデルにLoRA(追加の小さな重みを学習する微調整)で能力を足す方式、訓練後の忘却手法MaxEntの3つです。悪意あるデータで微調整して知識を取り戻そうとする攻撃に対し、フィルタリング・LoRA・GRAMはどれも強く、MaxEntだけが全データ基準に近い水準まで回復しました。MaxEntは能力を消したのではなく抑え込んでいただけ、という結果です。
実験3は、7つのサイズで同じ比較をしました。GRAMとLoRAは、全サイズでフィルタリングの性能に追随します。モジュールを外した状態では、モデルが大きいほど基準モデルとの差が開き、微調整で回復する量も小さくなります。Alignment Science blogは、これがフィルタリングとLoRAにも共通する傾向で、GRAMだけの利点ではないと書いています。また計算量を揃えた比較のため、絶対的な性能では、大きいモデルほど削除した能力も高いままです。
GRAMとLoRAを分ける2つの実験
実験2の主設定では、GRAMとLoRAはほぼ並びました。Alignment Science blogは、2つの設定で差が出たと述べています。
GRAMがLoRAを上回った2つの設定
複数の能力を同時にオン
4つのモジュールをすべて有効にしても、ウイルス学の性能は、ウイルス学だけを残した場合と変わりませんでした。LoRAは複数のアダプターを足すと、全カテゴリで性能が下がります。
ラベルが半分しかない
学習データの半分からラベルを取り除いた設定です。GRAMはラベルなしデータを全モジュールを有効にして学習するため、無関係なモジュールの学習が少なく、データフィルタリングやLoRAより深く能力を削除できました。
どちらも孤立した2つの実験で、一般に成り立つかは断言できない、とも書かれています。
既存の安全策との並べ方
| 手法 | 作用する層 | 欠点として挙がっている点 |
|---|---|---|
| refusalの訓練 | 作用する層モデルの振る舞い | 欠点として挙がっている点jailbreakの余地。リリースごとの再調整 |
| Constitutional Classifiers | 作用する層入出力の周辺 | 欠点として挙がっている点内部の知識は残る |
| 審査・段階的な提供 | 作用する層アカウントとモデル | 欠点として挙がっている点全能力か弱いモデルかの粗い選択 |
| データフィルタリング | 作用する層事前学習データ | 欠点として挙がっている点構成ごとに別の訓練が必要 |
| 忘却手法(MaxEnt) | 作用する層訓練済みモデルの重み | 欠点として挙がっている点微調整で回復する |
| GRAM | 作用する層重みの局在 | 欠点として挙がっている点大規模・本番・指示チューニング後は未検証 |
GRAMは「モデル本体を変える」側に入りながら、フィルタリングの高い費用と固定的な構成を避けようとしています。審査済みの研究者向けと一般向けの2系統を、別々に育てずに済む点が運用上の違いです。
「オフスイッチ」は何を指しているのか
原題のoff switchは、モジュールを含む重みと、モジュールを削除した重みのどちらで動かすかの切り替えを指します。Alignment Science blogでは、推論時に重みを削除して構成を切り替えるとされています。
ユーザーごとにその場で権限を切り替える仕組みとは、ブログに書かれていません。どの構成の重みを誰に出すかを決める使い方と読めます。
明記されている限界
Anthropicの記事が挙げる限界は3点です。フロンティア規模と本番の訓練パイプラインで試していないこと、評価が次トークン予測の性能で、実際の下流タスクではないこと、dual-use能力の一部が一般知識と絡み合っていて切り分けられない可能性があることです。
Alignment Science blogは、これに加えて次の問いを残しています。
- 絡み合いが強ければ、データフィルタリング自体が成立しない可能性があります。生物学の一般知識とウイルス学のように、保持する能力と消す能力の取引が急すぎる場合です。
- GRAMで訓練したモデルを、どう指示チューニングするかは今後の課題とされています。
- 実データの主設定ではLoRAも強い基準線で、条件を変えても手法の差が小さいままかどうかは試されていません。
- 本番での実装は難しく、複雑さが増す可能性があります。
3つ目の絡み合いはGRAMに固有の問題ではなく、知識の側で制御する方式すべてに共通します。ここが解けない限り、危険な能力だけを外科的に取り除く目標には上限が残ります。
3つの層のなかのGRAM
分類器は、入出力の周辺で止める層でした。Claudeに理由で教える取り組みは、モデルの意思決定のしかたに働きかける層です。GRAMは、そのどちらでもなく、モデルが持つ知識の分布に手を入れます。
3層が1つのモデルで重なれば、jailbreakに対する防御も段になります。知識の層で削除し、意思決定の層で拒否傾向を持たせ、入出力の層で再度検査する構成です。GRAMは本番モデルでは試されていないため、この重ね方は今のところ設計図にとどまります。稀な危険行動を測るForecasting Rare Behaviorsのような手法は、こうした対策が実際にどこまで効くかを検証する側の道具になります。
政策の議論にも、この研究は出てきます。Dario Amodeiが公開したオープンウェイトモデルに関するAnthropicの立場は、有望な軽減策の例として、AE StudioとAnthropicによるモジュール式の訓練戦略の研究を挙げています。
まとめ
GRAMは、1回の訓練でdual-use知識の入り切りを組み合わせ、複数のフィルタリング版に近い性能を取り出す手法です。検証は最大50億パラメータまでで、Claudeにはまだ入っていません。読む側の注目点は、少量の悪意ある微調整では知識が戻りにくいという性質と、指示チューニングや絡み合いの問いがどう決着するかの2つです。