Monosemanticity論文の辞書学習でニューロンを分解する

512個のニューロンしか持たない1層のTransformerから、4,000個を超える解釈可能な「特徴」を取り出す。Anthropicが2023年10月に公開した研究は、スパースオートエンコーダという手法を使い、ニューロンという単位では見えなかったモデルの内部構造を初めて具体的に可視化しました。

背景 — ニューロン単位の解釈がうまくいかない理由

ニューラルネットワークを理解可能な部品に分解して仕組みを読み解くアプローチは、機構的な解釈可能性(mechanistic interpretability)と呼ばれます。しかし最も自然な計算単位であるニューロン自体が、人間の理解に適した単位とは限りません。多くのニューロンは「多義的」で、一見無関係な入力の組み合わせに反応するからです。

この研究で扱う小さな言語モデルでも、あるニューロンが学術的な引用・英語の会話・HTTPリクエスト・韓国語のテキストという、まったく異なる入力の混合に反応する様子が確認されています。多義性の原因として有力視されているのが、Anthropicの前の研究であるToy Models of Superpositionで実証された「重ね合わせ」です。ネットワークが持つニューロンより多くの独立した特徴を、ニューロンの線形結合として表現する現象でした。

重ね合わせを解く3つの戦略(モデルの再設計/過完備な基底の探索/両者のハイブリッド)のうち、今回の研究は過完備な基底を訓練後のモデルから見つけ出すアプローチを、実際の言語モデルに適用したものです。モデル自体を疎に設計するアプローチは多義性を防ぐには不十分であることが分かり、標準的な辞書学習手法には過学習の問題があることも判明したため、この方向に絞り込まれました。

スパースオートエンコーダの仕組み

用いられた手法は「スパースオートエンコーダ」と呼ばれる弱い辞書学習アルゴリズムです。512個のニューロンを持つMLP層の活性化を、80億件のデータポイントで訓練したスパースオートエンコーダによって、より解釈しやすい特徴へと分解します。拡張率(元のニューロン数に対する特徴数の倍率)は1倍(512特徴)から256倍(131,072特徴)まで試され、詳細な解釈可能性分析は4,096特徴を学習した「A/1」という実行結果に焦点が当てられました。

512個のニューロンという小さな層から、4,000以上の特徴が見つかったという事実自体が、重ね合わせが実際に起きていたことの一つの証拠になっています。ニューロンの数を大きく超える特徴が、しかも増やし続けてもなお新しい特徴が見つかり続けるという結果です。

4つの具体例で示された特徴の実在性

研究では、特定の文脈にきわめて高い特異性で反応する4つの特徴を詳しく検証しています。アラビア文字のテキストに反応する特徴、DNA配列に反応する特徴、base64文字列に反応する特徴、そしてヘブライ文字のテキストに反応する特徴です。

アラビア文字特徴(A/1/3450)を例に取ると、訓練データ全体でアラビア語のトークンはわずか0.13%しか占めていませんが、この特徴が活性化したトークンのうち81%がアラビア語でした。活性化の強さで見ると、活性化がわずかなときは25%、活性化が5を超える強い場合では98%までアラビア語の比率が上がります。つまり活性化が強いほど、その特徴の意味づけはより確からしくなります。

これらの特徴について、研究チームは5つの主張を検証しています。①仮説とした文脈に対して高い特異性で活性化する、②その文脈が存在するときは高い感度で活性化する、③下流の生成挙動に適切な影響を与える、④どのニューロンにも対応しない、⑤別のモデルに対して辞書学習を行っても同様の特徴(普遍性)が見つかる、の5点です。実際、base64特徴を人為的に活性化させるとモデルはbase64のようなテキストを生成し始め、アラビア文字特徴を活性化させるとアラビア語のテキストが生成されました。特徴を使ってモデルの生成を操作できることが、その特徴が単なる後付けの解釈ではなく、モデルの計算に実際に使われていることを示す強い証拠になっています。

特徴はニューロンの基底では見えない場所に存在する

とくに重要な発見が、これらの学習された特徴が、どのニューロンの上位活性化データにも現れないケースがあるという点です。ヘブライ文字に反応する特徴がその一例で、ニューロン単位で観察している限り、この特徴の存在にはまったく気づけません。辞書学習という手法を経て初めて、モデルが内部でこの区別を行っていることが見えてきます。

特徴の分裂・普遍性・有限状態オートマトン的な連携

研究の後半では、特徴が持つ興味深い性質がいくつか報告されています。1つは「特徴の分裂」です。オートエンコーダの幅を512(ニューロン数と同じ)から131,000超まで拡大すると、小さな辞書では1つだった特徴が、より大きな辞書ではより繊細で解釈可能な複数の特徴に分裂する現象が見られました。例えばあるbase64特徴は、小さな辞書では1つでしたが、大きな辞書では3つに分裂し、それぞれがより細かい役割を担っていました。異なるサイズのオートエンコーダは、同じ対象を異なる「解像度」で捉えていると解釈できます。

もう1つは「普遍性」です。異なるTransformer言語モデルに同じ手法を適用すると、それぞれのモデルのニューロン同士よりも、モデル間の特徴同士のほうがよく似ているという結果が得られました。これはモデルが違っても、似た特徴を似た形で表現している可能性を示唆します。

さらに特徴同士が連携し、有限状態オートマトンのような仕組みで複雑な挙動(妥当なHTMLの生成など)を実装している例も見つかっています。単一の特徴だけでなく、特徴同士の関係性を理解することが次の課題として浮かび上がりました。

重ね合わせの理解はこの研究でどう更新されたか

Toy Models of Superpositionの段階では、特徴は互いに干渉し合いながら反発し、ほぼ均等な間隔で配置される離散的な1次元の点というイメージが持たれていました。しかし今回の実験結果は、この見立てに重要な修正を迫るものでした。特徴は実際には、関連性の高いもの同士が密度の高い集団としてまとまる傾向を見せています。

考えられる説明は2つあります。1つは、そうした特徴の活性化そのものが相関している(一緒に発火しやすい)という説明。もう1つは、より本質的だと見られている説明で、似た下流への影響を持つ特徴同士は、幾何学的に近い方向を取るというものです。例えばbase64の中で数字1文字に反応する特徴と、他の文字に反応する特徴は、予測する次のトークンの集合がほぼ同じであるため、方向としても近くに位置します。特徴が単純な1次元の点ではなく、もっと高次元の「特徴多様体」を形成している可能性も指摘されており、重ね合わせの理論はこの研究を経て、当初想定より複雑な描像へと更新されています。

この手法をフロンティアモデルまで拡張できるか

研究チーム自身が最も重要な今後の課題として挙げているのが、フロンティアモデルへのスケーリングです。拡張率100倍のオートエンコーダを、幅1万のMLP層1つに適用するだけでも、約200億パラメータの規模になります。多くの特徴は非常に稀にしか出現しないため、オートエンコーダの訓練には大規模モデルの訓練データのかなりの部分が必要になる可能性もあり、コストが元のモデルの訓練を上回ることさえありうると指摘されています。

それでも研究チームは楽観的な見方を示しています。この研究領域の多くが、最終的には「難しいがエンジニアリングとスケーリングの問題」に帰着しつつあり、これはフロンティアAI研究機関がまさに強みを持つ領域だという理由からです。「トークン・イン・コンテキスト」特徴(同じ「the」でも物理学の文脈と数学の文脈で別の特徴になる、といった局所的な符号化)が数百種類見つかった理由についても、モデルが局所的な符号化を実際に使っている可能性が高いと分析されています。もし「the」とその文脈をそれぞれ独立に表現していたら、予測は両者の単純な足し算にとどまるはずですが、モデルはより鋭い予測を望むため、局所的な表現をあえて選んでいる、という説明です。

まとめ

Towards Monosemanticityは、スパースオートエンコーダを使った辞書学習によって、512個のニューロンしか持たない小さなTransformerから4,000以上の解釈可能な特徴を取り出せることを示しました。アラビア文字・DNA配列・base64・ヘブライ文字といった具体例で、特徴の特異性・感度・因果的な影響・普遍性が丁寧に検証されています。この手法をフロンティア規模のモデルへ拡張できるかどうかが、解釈可能性という研究分野全体の今後を左右する課題として位置づけられています。

この研究の前提になった重ね合わせという現象そのものはToy Models of Superpositionを読み解くで解説しています。解釈可能性研究がClaude製品にどう反映されているかはAnthropicの安全性研究はClaude製品のどこに入っているか、モデル自身にアラインメント研究をさせる関連の取り組みはAnthropic Research:Automated Alignment Researchersの核心で扱っています。