Monosemanticity論文の辞書学習でニューロンを分解する

512個のニューロンしか持たない1層のTransformerから、4,000個を超える解釈可能な「特徴」を取り出す。Anthropicが2023年10月に公開した研究は、スパースオートエンコーダという手法でこれを実現し、ニューロンという単位では見えなかったモデルの内部構造を具体的に示しました。

この記事は論文の要約ではなく、研究が何を測り、どこで測り切れなかったかに重心を置きます。特徴の実例、解釈しやすさの数値、論文自身が挙げている限界を順に見ていきます。

ニューロン単位ではなぜ読み解けないのか

ニューラルネットワークを理解可能な部品に分解して仕組みを読み解くアプローチは、機構的な解釈可能性(mechanistic interpretability)と呼ばれます。しかし最も自然な計算単位であるニューロンが、人間の理解に適した単位とは限りません。多くのニューロンは「多義的」で、一見無関係な入力の組み合わせに反応するからです。

この研究で扱う小さな言語モデルでも、あるニューロンが学術的な引用・英語の会話・HTTPリクエスト・韓国語のテキストという、まったく異なる入力の混合に反応しています。有力な原因は、Anthropicの前の研究であるToy Models of Superpositionで示された「重ね合わせ」です。ネットワークは、ニューロンより多くの独立した特徴を、ニューロンの線形結合として表現します。

疎なモデルを作れば多義性は消えるのか

Toy Modelsは、重ね合わせを解く戦略として3つを挙げていました。重ね合わせのないモデルを設計する、訓練後のモデルから過完備な基底を探す、両者のハイブリッドです。

論文は3つすべてを試したと述べています。結論は、疎なモデル設計では多義性を防ぎきれず、標準的な辞書学習には過学習の問題があった、というものです。前者の根拠は、活性化を極端に疎にして1つのニューロンだけが発火するモデルまで訓練しても、ニューロンが多義的になりうるという観察でした。重ね合わせがなくても多義性は残ります。

理由は交差エントロピー損失の性質にあります。論文は、互いに排他的な4つの特徴A〜Dと、発火するかしないかの2値だけを出す1つのニューロンという玩具モデルで説明しています。

くらべる

1つのニューロンの2通りの使い方(次トークンの交差エントロピー損失)

損失 約0.8

Aだけに反応させる

Aのときは正しく予測できます。発火しないB・C・Dの場面は一様に推測するしかなく、損失は3/4 × ln 3です。

損失 約0.7

AとBの両方に反応させる

発火したときはAかBを半々で予測し、発火しないときはCかDを半々で予測します。どの場面でも損失はln 2で、1つの特徴に絞る構成より低くなります。

つまり、損失だけを見れば、モデルは複数の特徴を1つのニューロンに混ぜたほうが得をします。言語モデルの訓練に使われる交差エントロピーのもとでは、この傾向は重ね合わせの有無と無関係に働く、というのが論文の見立てです。MSE損失で訓練するモデルでは同じ問題が起きないこともありますが、言語モデルはMSEで訓練されません。

一方、訓練後に分解する側のスパースオートエンコーダはMSEで学習するため、辞書の中で重ね合わせが再び生まれる心配を避けられます。「重ね合わせが入れ子になる」事態を防ぐ点が、後処理の分解を選ぶ利点でした。

なぜ辞書学習の中でスパースオートエンコーダを選んだのか

論文は古典的な辞書学習の手法もいくつか試しています。そのうえで、単純なスパースオートエンコーダに絞りました。理由は2つ書かれています。

1つは規模です。スパースオートエンコーダは大規模データに素直に拡張でき、この論文では80億件のデータポイントで訓練しています。もう1つは「強すぎる」手法への懸念です。反復的な辞書学習は、モデル自身が取り出せない特徴まで活性化から復元してしまうかもしれません。厳密な圧縮センシングはNP困難で、ニューラルネットワークがそれを解いているとは考えにくい、という理屈です。MLP層と構造が近いスパースオートエンコーダなら、モデルと同程度の力で特徴を取り出せると期待できます。

手順

スパースオートエンコーダの構成と学習

1. 1

   MLPの活性化を入力にする

   対象は1層Transformerの512次元のMLP活性化です。元モデルはThe Pile(1,000億トークン)で訓練され、活性化のサンプル80億件でオートエンコーダを学習します。

2. 2

   エンコーダで特徴の活性を作る

   入力側にバイアスを置き、線形層とバイアス、ReLUを通します。幅は512(1倍)から131,072(256倍)まで試し、詳しい分析の中心は8倍の4,096特徴です。

3. 3

   デコーダで元の活性化を復元する

   線形層とバイアスで512次元に戻し、復元誤差(MSE)に、特徴を疎にするL1罰則を加えた損失をAdamで最小化します。

4. 4

   使われなくなった特徴を再サンプリングする

   学習中に発火しなくなった特徴は、現在のオートエンコーダがうまく表現できていないデータ点に合わせて、エンコーダの重みを置き直します。同じ幅でより多くの特徴を保てました。

訓練のこつとして論文が挙げるのは、データ量を増やすほど特徴が「鋭く」解釈しやすくなったことです。

学習がうまくいったかをどう判定したのか

通常の機械学習なら、テスト損失のような単一の指標で良し悪しが分かります。この研究には、それに当たる満足できる指標がありません。情報量に基づく指標も試されましたが、人の目で見た解釈しやすさや活性化の疎さとは対応しませんでした。たとえば、平均のL0ノルム(同時に発火する特徴の数)が数百でも復元誤差が低い実行は、より疎で誤差の大きい実行より情報量が小さくなりえます。

そこで次の4つを併用しています。特徴を人の目で見る手動の検査、特徴ごとに発火するトークンの割合(特徴密度)、復元誤差、正解が分かっている玩具モデルでの検証です。論文自身が、この領域でより良い評価指標が必要だと述べています。

4つの特徴は本当に1つの文脈に反応しているのか

研究では、特定の文脈にきわめて高い特異性で反応する4つの特徴を詳しく検証しています。アラビア文字、DNA配列、base64文字列、ヘブライ文字の特徴です。

アラビア文字の特徴(A/1/3450)で見ると、特異性は活性化の強さとともに上がります。

数字

アラビア文字特徴の特異性

• 特徴が発火したトークンのうち

  81%

  アラビア語

• 活性化がごくわずかなとき

  25%

  アラビア語の割合

• 活性化が5を超えるとき

  98%

  アラビア語の割合

活性化が強いほど、その特徴の意味づけは確からしくなります。

研究チームは各特徴について5つの主張を検証しています。①仮説とした文脈に高い特異性で活性化する、②その文脈では高い感度で活性化する、③下流の生成挙動に適切な影響を与える、④どのニューロンにも対応しない、⑤別のモデルでも同様の特徴が見つかる、の5点です。

③の実験では、特徴の値を高い値に固定してモデルから文章をサンプリングします。base64特徴を固定するとbase64のようなテキストが、アラビア文字特徴を固定するとアラビア語のテキストが生成されました。特徴が後付けの解釈ではなく、モデルの計算に使われている根拠になります。

ニューロンの基底では見えない特徴

とくに重要な発見が、学習された特徴の一部が、どのニューロンの上位活性化データにも現れないという点です。ヘブライ文字に反応する特徴がその例で、ニューロン単位で観察している限り、この特徴の存在にはまったく気づけません。辞書学習を経て初めて、モデルが内部でこの区別をしていることが見えます。

解釈しやすさと説明できる範囲はどこまで測れたのか

選び抜いた4特徴だけでは、特徴全体の質は分かりません。そこで論文は、ランダムに抽出した特徴とニューロンを3通りの方法で比べています。

人手の評価では、著者の1人が、どの群か分からない状態で採点しました。162の特徴とニューロンから412の活性化区間が採点されています。活性化の範囲を11の区間に分け、各区間を均等に標本にしているのは、上位の例だけ見ると多義的なニューロンも単義的に見えるためです。

数字

特徴とニューロンの解釈しやすさ

• 人手採点の中央値(ニューロン)

  0点

  仮説すら立てられない水準

• 人手採点の中央値(特徴)

  12点

  8点超で「かなり解釈できる」

• ロジット予測の正答率(特徴)

  74%

  ニューロンは58%、当て推量は50%

• MLPの損失低減のうち回復した割合

  79%

  A/5(131,072特徴)では94.5%

自動評価では、Claudeが特徴の活性化例から説明文を書き、その説明だけを手がかりに、見たことのないトークンの活性化を予測します。説明に使った実際の活性化は予測側に見せない設計です。特徴はニューロンより有意に予測しやすい結果でした。

学習した4,096特徴のうち168は、1億件のデータ例で一度も発火しない「死んだ」特徴で、292は100万例に1回未満しか発火しない超低密度の特徴でした。この2群は解釈の評価から除かれています。

論文は弱点も書いています。特徴の活性化は小さい値に偏っており、活性が低い区間ほど解釈しにくくなります。上位約6割の範囲では一貫していても、そこから下で急に読みにくくなる特徴もありました。ただしモデルの出力への影響の多くは強い活性化から来るため、読みやすい範囲に効果が集中します。

79%という回復率にも注意書きがあります。MLPをオートエンコーダの出力に置き換えたときの損失の増え方が、MLPをゼロにしたときの21%に収まるという意味です。残りの長い裾に、さらに多くの特徴が必要になる可能性があり、純粋に単義的でない特徴も含まれます。説明文から活性化を再現して測る方法は、10万特徴を4,096トークンの文脈で動かすだけで1万2,500〜2万5,000ドルかかると論文は見積もっていました。

特徴はモデルとデータのどちらの性質なのか

活性化にはデータの分布が混ざるため、見つかった特徴がデータの相関の写しにすぎない可能性も残ります。論文は、学習済みの重みの要素をシャッフルしたランダム重みのモデルにも同じ手法を適用して確かめました。

得られたのは「span」「file」「.」などの単一トークンの特徴と、LaTeXやコードのような広い文脈に漠然と反応する特徴でした。単一トークン以外の特徴には、意味の通る解釈を付けられませんでした。訓練を通じてモデルの活性化に、データのトークン分布だけでは説明できない構造ができた、というのが論文の結論です。

辞書を大きくすると特徴はどう分かれるのか

オートエンコーダの幅を512から131,000超まで拡大すると、小さな辞書で1つだった特徴が、より細かい複数の特徴に分裂します。これを特徴の分裂と呼びます。base64に関係する特徴は、512特徴の辞書では1つ、4,096特徴では3つ、16,384特徴ではさらに多くなりました。

4,096特徴の辞書で現れた3つを、論文は次のように読み解いています。

数字の特徴が次の数字を予測しにくいのは、トークン化の副作用だと論文は見ています。数字が2つ続けば1つのトークンにまとまるため、数字トークンの直後は数字以外になりやすいからです。3つ目の特徴は、一見規則のない発火が、ASCIIテキストを符号化した文字列への反応だと分かりました。モデルがbase64の種類まで区別していたことは、研究者にも予想外だったと書かれています。

分裂は、一見「バグ」に見える現象も説明します。辞書が小さいとき、ある1つのトークンにだけ高い活性で反応する特徴が多数現れました。バイグラム(直前トークンとの組)の統計だけで同じ効果を出せるので、MLPの容量を使う理由が見当たりません。論文は、これらが文脈ごとに細かく分かれる前の粗い特徴で、辞書を広げると文脈別の複数の特徴に分かれると見ています。

特徴は別のモデルでも現れるのか

異なる乱数で初期化した2つの1層Transformer(AとB)に同じ手法を適用し、似た特徴を探しました。A/1の特徴とB/1で最も近い特徴との活性化の相関は、中央値で0.72です。ニューロン同士で同じ比較をすると0.46にとどまり、モデルをまたいだ一致は特徴のほうが高くなっています。

もう1つの発見は、特徴同士が連携し、有限状態オートマトンのような仕組みで動く例です。特徴が次トークンの確率を押し上げ、そのトークンが別の特徴を発火させる、という連鎖が起きます。いちばん単純な例では、base64の特徴が「Qg」「zA」のようなトークンを予測しやすくし、それがまた同じ特徴を発火させます。ARRAY_MAX_VALUEのような全大文字のスネークケースを作る例では、大文字トークン用の特徴(A/0/207)とアンダースコア用の特徴(A/0/358)が組になります。モデルが意図して作った回路ではなく、自己回帰で文章を予測する過程で、結果的にこうした連鎖が身についたものです。

重ね合わせの理解はどう更新されたか

Toy Models of Superpositionの段階では、特徴は互いに干渉して反発し、ほぼ均等な間隔に並ぶ離散的な1次元の点というイメージでした。実際の特徴は、関連性の高いもの同士が密度の高い集団にまとまっています。

考えられる説明は2つあります。1つは、特徴の活性化が相関している(一緒に発火しやすい)という説明。もう1つは、論文がより本質的と見る説明で、似た下流への影響を持つ特徴同士は、幾何学的に近い方向を取るというものです。base64の中で数字1文字に反応する特徴と、他の文字に反応する特徴は、予測する次のトークンの集合がほぼ同じなので、方向としても近くに位置します。

特徴が1次元の点ではなく、高次元の「特徴多様体」を作っている可能性も挙げられています。そうなると「正しい特徴の数」を決めること自体が成り立たない場合もあります。論文は、辞書を大きくするにつれて粗い分解から細かい分解へ段階的に見えることで、数を厳密に決めなくても分析が「穏やかに劣化する」と整理しています。

同じ「the」が数百の特徴に分かれるのはなぜか

最もよく見つかった型の1つが、「トークン・イン・コンテキスト」特徴です。ドイツ語の「die」(定冠詞)と英語の「die」(死、さいころ)を別の特徴として持つのは直感に合います。ところが「the」について、物理学の文脈と数学の文脈などで、数百の別々の特徴が見つかりました。「a」「of」やピリオドも同様です。

論文は2つの仮説を立てています。モデルは「the」と文脈を独立に表す合成的な符号を使っていて、L1罰則による疎さの圧力が、辞書側を局所的な符号に偏らせた、という見方が1つ。もう1つは、モデル自身が局所的な符号を実際に使っているという見方です。論文は後者もある程度成り立つと考えています。「the」と物理学の文脈を独立に表すと、予測はそれぞれの寄与の足し算になります。モデルがより鋭い予測を望むなら、「物理学の文脈のthe」を1つの単位として持つほうが有利だからです。

論文自身が挙げた今後の課題

最も重要な課題として挙げられているのが、フロンティアモデルへの拡張です。拡張率100倍のオートエンコーダを、幅1万のMLP層1つに適用するだけで、約200億パラメータになります。多くの特徴は非常に稀にしか出現しないため、訓練には大規模モデルの訓練データのかなりの部分が必要になる可能性があり、コストが元のモデルの訓練を上回ることさえありうると書かれています。

それでも研究チームは、この領域の多くが「難しいがエンジニアリングとスケーリングの問題」に帰着しつつあり、フロンティアAI研究機関が強みを持つ領域だと見ています。

課題はスケールだけではありません。良い特徴を見分ける系統的な方法がないこと、小さな部品の理解を大きな挙動の理解へ積み上げる分析のスケーリング、注意機構の層でも重ね合わせを扱えるかが、論文の挙げる残りの論点です。

まとめ

論文の核心は、特徴の実例が鮮やかなことよりも、ニューロンの代わりに特徴を単位にすると、人手でも自動評価でも読みやすさが大きく上がると測ったことにあります。同時に、79%の損失回復、低い活性での読みにくさ、評価指標の不在という限界も論文自身が書いています。この手法の成否は、フロンティア規模に拡張できるかで決まります。

この研究の前提になった重ね合わせはToy Models of Superpositionを読み解くで解説しています。解釈可能性研究がClaude製品にどう反映されているかはAnthropicの安全性研究はClaude製品のどこに入っているかにあります。モデル自身にアラインメント研究をさせる取り組みはAnthropic Research:Automated Alignment Researchersの核心が扱います。