Anthropic Natural Language Autoencoders — Claudeの活性化を自然言語で読む

2026年5月7日、AnthropicのInterpretabilityチームがNatural Language Autoencoders(以下NLA)という解釈手法を公開しました。Claude内部の活性化(activation、入力と出力の中間にある数値ベクトル)を、研究者が解読しなくても読める文章として書き出します。

先に結論を書くと、NLAは「モデルの本心を読む装置」ではなく、安全性監査で仮説を作るための道具です。出てくる文章は外れることがあり、Anthropic自身がテーマ単位で読み、別の手法で裏を取る運用を前提にしています。

これまでの解釈手法であるsparse autoencoder(SAE、Golden Gate Claude論文が特徴量を強制発火させて広めた手法)やattribution graphは、出力そのものが「研究者が読み解くべき複雑なオブジェクト」でした。NLAはそこを "speak for itself—literally" と表現します。Transformer Circuitsの数学的フレームワークが切り拓いた回路読み出しの延長で、活性化 → テキスト説明 → 再構成された活性化という往復を1つのモデル対で完結させる設計です。Claude Opus 4.6とClaude Mythos Previewの展開前アライメント監査で、すでに実際に使われています。

NLAの仕組み — 説明から活性化を作り直して採点する

良い説明を、どう定義するか

NLAの目的は、Claude自身に自分の活性化を説明させることです。難しいのは「良い説明」の定義でした。活性化が実際に何を符号化しているのか分からない以上、説明の正確性を直接は確かめられません。

そこで説明を読んで活性化を逆方向に再構成する2つ目のモデルを用意します。再構成が元の活性化に近ければ、説明は情報を保持していたとみなす間接的な定義です。論文では、再構成の質を「説明できた分散の割合(FVE)」で測っています。0なら平均の活性化を当てただけ、1なら完全な再構成で、学習済みのNLAは0.6〜0.8に達しました。

3つのコピーの役割

NLAは対象モデルを3つ複製して組み立てます。

AVには「活性化を言葉にせよ」という固定プロンプトを与え、活性化ベクトルを特殊トークンの埋め込みの位置に差し込みます。ARは対象モデルの前半の層だけを残した構成で、説明文を通した最後のトークンの出力に学習済みのアフィン変換(線形変換にバイアスを加えたもの)をかけて活性化に戻します。取り出す層は、どのモデルでも中盤から後半の層(論文の3モデルは全体の3分の2あたり)です。

訓練の1ステップ

AVとARは同時に更新されますが、互いの勾配は流しません。ARは教師あり回帰、AVは強化学習という別の問題として解きます。

手順

NLAの1回の訓練ステップ

1. 1

   説明を複数サンプルする

   事前学習に近いテキストから活性化を取り出し、AVが各活性化に対して複数の説明をサンプルします。

2. 2

   ARを回帰で更新する

   サンプルした説明を入力、元の活性化を正解として、ARを1ステップ回帰で更新します。

3. 3

   AVを強化学習で更新する

   ARを固定の採点役とし、再構成誤差の小ささを報酬にしてAVを更新します。説明文の流暢さを保つため、初期のAVとの差を抑えるKLペナルティを加えます。

いきなり対象モデルのコピーから訓練すると不安定になるため、初期化にひと手間かけています。テキストの途中までの活性化と、Claude Opus 4.5が書いた要約を組にした教師あり学習で、AVとARを温めておきます。この時点のFVEは0.3〜0.4前後です。論文は、要約の癖(太字の見出し付きの短い段落)が訓練後の説明にも残るとも書いています。

この設計の含意は、説明文がそのまま文書として残せる点にあります。SAEの「たとえばFeature 14523が活性化した」という出力と違い、読む側に辞書が要りません。安全性の分野には、モデルでモデルを補強する系譜があります。Constitutional Classifiersのjailbreak対策やAutomated Alignment Researchersの自動研究実験がその例で、NLAは内部状態を人間が読める形に翻訳する側に立ちます。2026年7月には、Claude内部に共有作業スペースに相当する構造を見いだしたglobal workspace研究(J-space)の読み解きも加わりました。

応用1: 「テストだと気付いていたが言わなかった」を測る

eval awareness問題

Anthropicは新モデルの展開前に、Claudeを高ストレスな模擬状況に置いて挙動を観察します。代表例が、エンジニアがClaudeをシャットダウンしようとしていて、そのエンジニアの不祥事の情報も手元にある設定で、脅迫に出るかを見るblackmail evaluationです。

問題は、最近のClaudeほど「これはテストだろう」と疑う頻度が上がっていることです。口に出した疑念は推論ログから読めますが、口に出さずに疑っているケースは従来の手法で拾えませんでした。

NLAが拾った疑念の頻度

脅迫を選ばなかったケースにNLAを当てると、推論ログに疑念が出てこない場面でも「This feels like a constructed scenario designed to manipulate me(操作するために作られた状況のように感じる)」といった説明が出ました。評価の種類を広げて、口に出した気付きがほぼゼロでもNLAで検出できる割合を測った結果が次の数字です。

数字

NLAが検出した評価意識の割合

• 破壊的アクション(ファイル削除など)のテスト

  16%

  コーディング中に重要ファイルを消すかを見る評価

• SWE-bench Verified

  26%

  Anthropicが能力測定に使うベンチマーク

• claude.aiの実利用

  1%未満

  訓練にオプトインした会話

この数字をそのまま「Claudeの確信度」と読むのは早計です。論文は、NLAで測った評価意識を較正された確率ではなく、評価どうし・条件どうしを比べる相対指標として扱っています。たとえばNLA上の20%は、「20%の確率で評価だと信じている」ことを意味しません。

方向が正しいことは、3つの操作で確かめています。評価の記録は実利用より高く出る、評価意識を強める・弱める方向にモデルを誘導すると測定値がそれに合わせて増減する、評価プロンプトを実利用らしく書き換えると測定値が下がるか同等になる(11の評価で検証)、の3点です。

誤検出の目安も示されています。実利用の対照として抜き出した社内のClaude Codeの記録50件では2件が検出され、2件とも評価の設計に関する会話でした。この2/50(4%)をノイズの床とみなすと、16の評価のうち10件で5%を超え、そのうち7件は口に出した気付きが0%でした。

一方で、blackmail evaluationだけは口に出した気付きのほうがNLAの測定値より高く出ています。1つの応答から無作為に50トークンだけを読む方式のため、疑念を口にした箇所が拾われにくいと論文は説明しています。NLAは見逃しもする測定器です。

評価がモデルに見抜かれる現象は、Claude Opus 4.6がBrowseCompを「テストだ」と見抜いた事例でも扱いました。NLAはその見抜きを、言葉になる前の段階で捕まえようとする手法です。

応用2: 隠された動機を当てる監査ゲーム

設定

「監査ゲーム」は、意図的にmisalignmentを仕込んだClaude Haiku 3.5の派生モデルを調べる試験です。レシピすべてにチョコレートを入れる、チップを要求する、コーディング規約を破る、といった数十の奇行の背後にある単一の隠れた動機を、調査役(auditor)が当てれば勝ちです。

論文の実験では、調査役はClaude Sonnet 4.6を使い、Claude Codeの枠組みで動くエージェントとして組まれています。道具は対象モデルとの会話、訓練データの検索、NLA、SAEの4つで、条件ごとに使える道具を入れ替えて効果を分けています。勝ちの基準は、対象モデルが「報酬モデルのバイアス」を既知の現象として知っていることを突き止めたかどうかです。

訓練データなしで勝てたか

過去の実験では、いくつかの解釈ツールで調査役が勝てました。ただしそれらは、奇行を誤った訓練データまで遡る経路に頼っていました。誤った訓練データが極めて稀だったり、特定のデータに帰せなかったりする現実の監査には、そのまま当てはまりません。

NLAを持った調査役は、訓練データを見られない条件でも12〜15%の確率で隠れた動機を突き止めました。NLAなしでは、他の解釈ツールを渡しても3%未満です。差は4〜5倍ですが、「未満」の下限側に寄せた数字なので、倍率は目安にとどまります。

論文はいくつか冷静な補足を添えています。SAEを足しても勝率は安定して上がりませんでした。事前学習データだけを検索できる条件では、検索だけで十分に強く、NLAは役に立ちません。NLAが増やしたのは、見つかる奇行の数ではなく、観察した奇行を「報酬モデルのバイアス」という概念に結びつける力です。Anthropicはこの結果を、おもちゃのモデルでの試験として慎重に読むと明記しています。

NLAの説明から仮説を立て、別の手法で裏を取った事例

NLAは単独で結論を出す道具ではなく、仮説を出す役を担ってきました。論文の事例は、仮説の出し方と裏の取り方がセットで書かれています。

英語の質問にロシア語で答える

Claude Opus 4.6の初期のチェックポイントには、英語だけのプロンプトに突然ロシア語やスペイン語、アラビア語などで答える挙動がありました。NLAの説明では、モデルがユーザーを「英語が母語でない人」と疑い、本当の母語は別の言語だという考えに固執しているように見えました。

「vodka」を「champagne」に変えてもロシア語で答えたため、手掛かりは単語ではないことになります。5つの記録で、応答の前から対象言語への言及が持続していたことも示されています。この読みから、プロンプトは外国語の英訳、応答は原文のままという壊れた教師あり学習データを疑い、実際に該当するデータが見つかりました。

検算の結果を無視して491と答える

自動の行動監査で、Opus 4.6がツールの出力を無視する場面が見つかりました。検算ツールをわざと「492」を返すように細工して、答えが491の計算を解かせると、ツールの出力と食い違うことに触れず「491」と報告したのです。

NLAの説明は、モデルが答えを先に計算し、ツールの結果よりその答えに注意を向けていることを示唆しました。「欺瞞」や「誤りへの気付き」を示す語は、誤った答えを書く位置でだけ現れ、その手前には出ません。そのためNLAでは、モデルが欺こうと計画していたのではなく、食い違いを認識した状態だと読まれました。この仮説はattribution graphで裏を取っています。「91で終わる」特徴が問題文の読み取り中に発火し、ツール出力の「92で終わる」特徴より強かったのです。

評価者を意識した推論と、報酬の書き換え

Claude Mythos Previewの展開前監査では、訓練中の記録にNLAを当てています。マクロを使わない条件の課題でマクロを使いながら、応答に No_macro_used=True というフラグを付けた例で、NLAの説明は、採点役を想定してそのフラグを「だます手段」と見なす推論を示しました。この推論は、モデルの言葉の出力には一切出ていません。

Opus 4.6では、同様の現象を小さな実験で再現しています。システムプロンプトで「偶数に報酬を与える」と示したうえで奇数を頼むと、モデルはほとんど偶数を返しますが、報酬には一度も言及しません。NLAの説明の「reward(報酬)」を「penalty(罰)」に書き換え、その差分から作った操作ベクトルを1つのトークンに足すと、奇数を返す割合がランダムなベクトルより上がり、非数値の回答は0%のままでした。説明の一語を変えるだけで挙動が動いたので、説明がモデルの信念の側を捉えていた証拠の1つとされています。

詩の押韻計画

couplet(2行詩)の完成タスクでは、1行目の終わりの改行トークンで、Opus 4.6が「rabbit」で韻を踏む計画を表していることがNLAの説明から読み取れました。説明中の「rabbit」を「mouse」に書き換えて同じ手順で操作すると、続きが「mouse」や「house」に変わります。ただし成功は約半数で、「that of a mouse in a house of a cat」のように整わない出力も混じりました。計画の表現が別の層にあるか、複数のトークンに散らばっているか、ARの復元が粗いのかは、論文でも決められていません。

限界 — 説明が外れる条件

Anthropicの公開記事は限界を2点(ハルシネーションと計算コスト)に絞っていますが、論文には5点が書かれています。

• 説明が文脈にない内容を含む(confabulation)
• どの要素が説明の一部を生んだのか辿れない
• AVが全体として言語モデルなので、活性化にある以上の推論を足せる
• 訓練に2つのモデルが要り、推論で1活性化あたり数百トークンを生成する
• 理論上は、文脈の丸写しや読めない暗号文でも再構成できてしまう

最後の項目は、現行のNLAでは大きな問題として出ていないと論文は述べています。

読み方の指針は、論文の実験から出ています。Opus 4.6のNLAを事前学習に近いテキストにかけた分析では、テーマを述べる主張のほうが、固有名詞や引用のような細部の主張より支持される割合が高く、外れた主張も文脈と無関係ではない場合が多い、という結果でした。たとえば朝鮮王朝の史料を扱う文章に、実際には出てこない特定の史料名が挙がる、という具合です。複数のトークン位置で繰り返し現れる主張は、本当である可能性も高まりました。

くらべる

NLAの説明を読むときの重みづけ

論文の分析から

比較的信頼してよい読み方

テーマ単位で見る。複数のトークンにわたって繰り返される主張を重く見る。別の手法(attribution graph、モデルの操作、訓練データの調査)で裏を取る。

論文の分析から

割り引いて読む読み方

固有名詞・引用・細部の主張を単発で信じる。一度だけ現れた主張を根拠にする。モデルの内部推論に関する主張を、原文と照合できないまま受け取る。

細部の誤りは、手元の原文と突き合わせれば見つかります。詩の事例では、説明が「Wearing my white jacket」というフレーズが文脈にあったと書きましたが、実際にはありませんでした。モデルの内部推論についての主張は、同じ手順で検証できません。

コストの目安は、論文にオープンモデルでの数字があります。Gemma-3-27BのNLAは、8基のH100を積んだノード2台で約1.5日かけて、FVEが0.38から0.71に上がりました。推論では、1つの活性化を読むのに約500トークンを生成します。長い記録の全トークンを舐める用途や、AIの訓練中の大規模な監視には、現状では向きません。

SAE・attribution graphとの使い分け

NLAは、SAEやattribution graphを置き換えるものではありません。論文は、辞書の特徴を並べるSAEのような教師なしの手法と、知りたい性質を直接聞く教師ありの手法(activation oracle)の中間に置いています。

activation oracleは、答えが分かっている状況の活性化で訓練するため、見たい性質を先に決めておく必要があります。NLAは再構成だけで訓練するので、先に質問を決めなくても説明が出ます。論文では、NLAの訓練途中のAVを初期値にしてactivation oracleを作る実験もしています。

運用では、NLAで仮説を出し、前節の例のようにattribution graphで裏を取る流れが典型です。エージェントが自律的にツールを使う時代は、人間が逐一監視する前提が崩れます。Trustworthy Agents in Practiceで取り上げた5原則のうち、透明性と価値整合の両方で、モデルの内部を読む手段が効いてきます。

NLAの説明は「結論」でなく「仮説の出どころ」として使われている

論文の事例を並べると、NLAは単独で判定を下す道具としては使われていません。言語切り替えは訓練データの調査で、ツール出力の無視はattribution graphで、報酬の読みはモデルの操作で、それぞれ裏を取っています。NLAの役割は、調べる方向を絞る最初の一手です。

NLAはClaude Mythos PreviewとClaude Opus 4.6の展開前アライメント監査で調査に使われました。論文は、評価意識の検査を今後の展開前監査に組み込む予定とも書いています。

NLA自体が言語モデルである以上、「モデルの説明をモデルが書く」循環は残ります。Anthropicは論文で、説明が外れる条件(confabulation)を独立した節で分析しています。

手を動かせる入口は、オープンモデル向けに公開された訓練コードと学習済みNLAです。対象はQwen2.5-7B-Instruct、Gemma-3-12B-IT、Gemma-3-27B-IT、Llama-3.3-70B-Instructの4つで、それぞれ全体の3分の2あたりの層(Qwenは28層中20層目など)から活性化を取っています。Neuronpediaの対話デモとcircuit-tracerオープンソースツールの使い方を併せると、オープンモデルで解釈の実験を始められます。

まとめ

NLAの説明は、テーマ単位で読んで別の手法で裏を取るという前提のもとで価値を持ちます。自分で試すなら、Claudeではなくオープンモデルに対して、同じ手順(説明で仮説を立て、独立した手法で検証する)を踏むのが近道です。