Toy Models of Superpositionとは — トイモデルで示された重ね合わせ
Toy Models of Superpositionは、小さなReLUネットワーク(トイモデル)で重ね合わせを示したAnthropicの2022年の研究です。トイモデルの意味、仕組み、安全性主張への影響を解説します。
ニューラルネットワークの1つのニューロンが、複数の無関係な概念に同時に反応することがあります。Anthropicは2022年9月14日、小さなトイモデルでこの現象を直接示し、「重ね合わせ(superposition)」と名付けました。ニューロンの数より多くの特徴を、ネットワークがどう表現しているかを説明する理論です。
トイモデルとは何か — 論文の要点
トイモデルとは、現象を取り出して調べるために作る、小さな実験用のニューラルネットワークです。この論文では、疎な入力特徴を持つ合成データで訓練した小さなReLUネットワークを指します。
「Toy Models of Superposition」の主張は1つです。特徴が疎なら、モデルは次元数より多くの特徴を、干渉と引き換えに表現できます。この現象が重ね合わせ(superposition)で、ReLUによる非線形のフィルタリングが干渉を抑えます。
なぜニューロンは複数の概念を同時に表現するのか
理想を言えば、個々のニューロンが入力の1つの解釈可能な特徴にきれいに対応してほしいところです。画像分類器なら、あるニューロンは「赤色」に、別のニューロンは「左向きの曲線」に、というように。初期の画像認識モデルInceptionV1の序盤の層には、曲線検出器のようにきれいに対応するニューロンが実際にあります。
大規模言語モデルでは、ニューロンがきれいな特徴に対応することは実際には稀に見えます。1つのニューロンが一見無関係な複数の入力にまとめて反応する「多義的(polysemantic)」なニューロンが、数多く見つかります。同じ層の中で、きれいなものと多義的なものが混在するのも珍しくありません。この差がどこから来るのかが、研究の出発点です。
実験の仕掛け — 小さなネットワークに何をさせたか
トイモデルの舞台は、疎な合成データで訓練した小さなReLUネットワークです。特徴は入力ベクトルの各成分として用意し、それぞれに「疎さ」と「重要度」を持たせます。
トイモデルの訓練の流れ
- 1
疎な特徴を作る
各特徴は、確率Sでゼロ、それ以外は0〜1の一様乱数です。Sが1に近いほど、特徴は稀にしか現れません。
- 2
低次元に押し込んで復元させる
n個の特徴をm次元(mはnより小さい)に圧縮し、
ReLU(WᵀWx − b)の形で元の入力を復元させます。 - 3
重要度で重み付けした損失で訓練する
復元の二乗誤差を、特徴ごとの重要度Iで重み付けして足し合わせます。重要な特徴ほど、間違えたときの罰が重くなります。
最初の実験は、n=20の特徴をm=5次元に収める設定で、重要度は0.7のi乗と徐々に下げています。線形モデルは、疎さに関係なく重要度の高い上位m個の特徴だけを学びます。
ReLU付きのモデルも、特徴が密なうちは同じ結果です。特徴を疎にすると様子が変わります。特徴同士が直交しない配置をとり、次元数より多くの特徴を持ち始めるのです。これが重ね合わせです。重要度の低い特徴から先に巻き込み、最終的には重要な特徴にも及びます。
重ね合わせは無料ではありません。特徴同士が干渉し、ある特徴の活性が別の特徴の弱い活性として混ざります。疎な特徴は同時に出現する機会が少ないので、干渉の代償は小さく済みます。残った小さな干渉は、ReLUで切り落とせます。
1つの特徴の扱いは3通りに割れる — 相転移として起きる
特徴の扱いは、「学ばれない」「重ね合わせで学ばれる」「専用の次元を持つ」の3通りです。この切り替わりが、なだらかではなく急激に起きます。条件を絞った最小の実験で確かめられました。2つの特徴を1次元に収める設定です。
2つの特徴を1次元に収める3つの方法
一方を捨てる
第2特徴は表現しません。
第2特徴に次元を譲る
第1特徴を捨て、第2特徴に専用の次元を与えます。
重ね合わせる(対蹠配置)
2つの特徴を正反対の向きに置きます。ただし両方が同時に出ると表現できません。
第2特徴の重要度を0.1〜10、全特徴の疎さを1.0〜0.01の範囲で動かすと、どの解が最適になるかの相図が描けます。損失を解析的に計算した理論の相図にも、実際に訓練した結果の相図にも、同じように切り替わりが現れます。解の入れ替わる境界では最適な損失の微分が不連続になるので、一次相転移だと確かめられています。
この性質は、研究チームにとって希望の材料でもあります。重ね合わせが相転移で現れるなら、重ね合わせの起きない領域が存在するはずだからです。モデルをその領域に押し込む方法が見つかれば、原理的には重ね合わせを取り除けます。
重ね合わせは幾何学的な形に自己組織化する
特徴を増やして同じ実験を繰り返すと、配置に規則性が現れます。400個の特徴を30次元に収める設定で、特徴ごとの「次元の取り分」を測ると、値は特定の分数に集まりました。
特徴が占める次元の取り分と、対応する配置
正四面体
3/4
3次元に4特徴
三角形
2/3
2次元に3特徴
対蹠ペア(正反対の2特徴)
1/2
1次元に2特徴
五角形
2/5
2次元に5特徴
四角反プリズム
3/8
3次元に8特徴
取り分のグラフは、1と1/2の付近で「粘る」ように平らになります。対蹠ペアが効率的で、広い疎さの範囲で選ばれ続けるためです。特徴の重要度が揃っていないと、多角形は少しずつ歪み、ある点で別の多面体に切り替わります。5特徴を2次元に置く実験で、1つの特徴を十分に疎にすると、疎な特徴の重みがゼロになり、残る4特徴が2組の対蹠ペアに崩れました。損失曲線が交差する地点で入れ替わる、これも一次相転移です。
研究チーム自身は、この幾何学の結果を「出来すぎに見える」としています。トイモデル特有の性質を含む可能性が高いという立場です。
訓練の途中経過にも発見がありました。特徴の次元の取り分は、訓練中に段階的に跳ねます。なだらかに見える損失曲線が、実は小さな跳躍の積み重ねではないかという推測につながっています。
特徴は方向で表現される — 線形表現仮説との関係
この研究の土台にあるのが「線形表現仮説」で、特徴は活性化空間の「方向」として表現されるという考え方です。単語埋め込みで V("king") - V("man") + V("woman") が V("queen") に近くなるのは、性別や王族といった概念が方向に対応しているからだと解釈されます。
仮説は2つの性質に分けられます。表現が独立した特徴に分解できる「分解可能性」と、特徴が方向になる「線形性」です。線形表現が好まれる理由として、研究は3点を挙げています。層が実装する自然なアルゴリズムの出力になりやすいこと、次の層が1ステップで特徴を選べること、統計的な効率です。
線形表現が持てる特徴の数は次元数までと思われがちですが、実際は違います。重ね合わせを使えば、次元数よりはるかに多くの特徴を線形表現の中に格納できます。
ニューロンが多義的になる条件 — 特権基底と重ね合わせの綱引き
ニューロンの多義性は、2つの相反する力の綱引きで決まります。1つが「特権基底(privileged basis)」で、活性化関数のようなアーキテクチャ上の理由で、基底方向そのものが特別な意味を持つ表現です。特徴はニューロンに揃いやすくなります。もう1つが重ね合わせで、特徴をニューロンから遠ざけます。
隠れ層にReLUを足したトイモデルで、この綱引きが見えます。特徴10個を5ニューロンに収める設定で訓練したところ、疎さが増すにつれて、単義的なニューロンから多義的なニューロンへ移りました。1つのモデルの中に両方が同居する場合もあります。小さいモデルは最適化が難しく、1,000個を訓練して損失が最小のものを選んでいます。
この設定には弱点もあります。隠れ層のReLUが何の役にも立たないため、バイアスを自由に動かせるとモデルは全ニューロンを正の領域に移し、線形に振る舞わせて回避します。そこで研究は、絶対値の計算を学ばせるモデルへ進みました。
重ね合わせのまま計算もできる
絶対値の計算なら、重ね合わせた特徴に対しても回路を実装できます。100個の特徴を40ニューロンで扱う設定で調べると、多くのニューロンが特徴を単独で表す一方、一部は強く多義的になりました。重要な特徴を担うニューロンほど単義的になる傾向もあります。
多義的なニューロンの内側を解読すると、2つのニューロンが組になった仕組みが見つかりました。
- 非対称な重ね合わせ: 入力側の重みを
[2, -1/2]、出力側を逆数の[1/2, 2]にします。一方の特徴は他方に強く干渉しますが、逆向きの干渉は起きません。 - 抑制: もう1つのニューロンが、正の干渉が起きる場面でその特徴を強く抑えます。損失を大きく増やす正の干渉を、ReLUで影響の小さい負の干渉に変えます。
この結果から、実際に観測されるニューラルネットワークが、より大きくて疎な仮想のネットワークを「ノイズありでシミュレートしている」と捉えられる可能性が示されました。
トイモデルの予測は現実のモデルでも当てはまるのか
トイモデルは単純化された実験環境で、大規模モデルにそのまま当てはまるとは限りません。研究チームは、多義性についての既存の観察結果と照らして妥当性を検証しています。
トイモデルの3つ目のモデル(ReLUの隠れ層)でも、多義的なニューロンは実際に形成されました。きれいに解釈できるニューロンと多義的なニューロンが同じ層に混在する点も、実モデルと一致します。InceptionV1では層が深くなるほど多義的なニューロンの割合が増えます。高次の特徴ほど稀で疎になるためで、疎さが増すほど重ね合わせが強まるという予測と合います。
Transformer言語モデルの最初のMLP層が極端に多義的な理由も、この枠組みで説明できます。最初のMLP層の役割の1つが、同じトークンの異なる解釈を区別することだとします。たとえば「die」が英語・ドイツ語・オランダ語・アフリカーンス語のどれかを見分ける作業です。こうした特徴は極めて疎なので、多義性が強く出ると予測されます。
研究チーム自身は、すべてが実モデルに一般化するとは考えていません。重ね合わせや多義性、敵対的サンプルとの関連は一般化しやすいと見ています。幾何学的構造と学習ダイナミクスの結果は、不確実性がずっと高いとしています。
敵対的サンプルや、混合エキスパート(MoE)モデルの性能との関係も、予備的な証拠とともに挙げられています。MoEは、専門用途のニューロンをブロックにまとめ、一部だけを動かす構造で、ニューロンの疎さを計算量の節約に変えるモデルです。
重ね合わせが解釈可能性による安全性の主張を難しくする理由
研究チームが強調するのは、重ね合わせが、解釈可能性でAIの安全性を主張する最も有望な経路への明確な障害になっているという点です。Anthropicの安全性研究はClaude製品のどこに入っているかを考えるうえでも、前提となる技術課題です。
モデルが「欺瞞」や「操作」のような振る舞いを決してしないと示すには、モデルの全特徴を列挙できる力が武器になります。重ね合わせがなければ、ニューロンを1つずつ数えれば特徴を数えられます。重ね合わせがあると、方向を1つ特定しても、それを取り除いて次を探すグラム・シュミット法のような操作が成り立ちません。基本的な手法も揺らぎます。たとえば、ある入力が欺瞞的な例の表現とコサイン類似度で近いかを調べる方法は、無関係な特徴同士が正の内積を持つため、誤解を招く場合があります。
重ね合わせは、モデルにとって利益になっている可能性も高いと見られています。言語モデルは、論文の著者のように公的な露出が小さい個人についても知っています。そうした特徴は100万トークンに1回よりずっと稀にしか現れないと考えられ、重ね合わせはモデルを実質的に大きくしているかもしれません。
「何が存在しないか」を保証する論点は、Claudeシステムカードの読み方が扱う安全性評価の限界とも直接つながります。
研究は、重ね合わせを解く方向を3つ挙げています。
重ね合わせを解く3つの方向
重ね合わせのないモデルを作る
トイモデルなら、隠れ層の活性にL1正則化をかけるだけで消せます。ただし損失は悪化します。
訓練後に過完備な基底を探す
重ね合わせた特徴の方向を、事後的に見つけ出します。後継研究のスパースオートエンコーダによる辞書学習が、この方向の実装です。
両者のハイブリッド
重ね合わせは解かず、後段の分析で基底を見つけやすい形にモデルを変えます。
3つの方向を、競争力のあるモデルを求めない条件で比べると、トイモデルではどれも実現できると見ています。実用的な大規模言語モデルになると、どれも非常に難しくなるとしています。訓練した分布の一部だけで成り立つ「局所的な直交基底」では足りず、分布の外でも成り立つ説明が要るという指摘も残っています。
まとめ
重ね合わせは、特徴が疎なほど強まり、相転移で現れ、幾何学的な形を作ります。ニューロンを1つずつ数えれば特徴を数えられるとは限らない、という点が、解釈可能性の研究結果を読むときの目安になります。
重ね合わせを実際のモデルから解読する試みは、スパースオートエンコーダを使った辞書学習へと進みました。モデル自身に解釈可能性やアラインメントの研究をさせる関連の取り組みは、Anthropic Research:Automated Alignment Researchersの核心で扱っています。