Toy Models of Superpositionを読み解く — ニューロンが多義的になる理由

ニューラルネットワークの1つのニューロンが、複数の無関係な概念に同時に反応することがあります。Anthropicは2022年9月、小さなトイモデルを使ってこの現象を直接実証し、「重ね合わせ(superposition)」と名付けました。ニューロンの数より多くの特徴を、ネットワークがどうやって表現しているかを説明する理論です。

背景 — なぜニューロンは複数の概念を同時に表現するのか

理想的には、ニューラルネットワークの個々のニューロンが、入力の1つの解釈可能な特徴にきれいに対応してほしいところです。画像分類器なら、あるニューロンは「赤色」に、別のニューロンは「左向きの曲線」に、というように。実際、初期の画像認識モデルの一部のニューロンは、曲線検出器のようにきれいに特徴と対応します。

しかし大規模言語モデルでは、こうしたきれいな対応はむしろ稀です。1つのニューロンが学術的な引用・英語の会話・HTTPリクエスト・韓国語のテキストといった、一見無関係な入力の組み合わせに反応する「多義的(polysemantic)」なニューロンが数多く見つかります。なぜニューロンが特徴ときれいに対応する場合と、そうでない場合があるのか。この問いに答えるのが本研究の出発点です。

何が「重ね合わせ」なのか — トイモデルの実験設定

Anthropicが用意したのは、疎な合成データで訓練した小さなReLUネットワークです。5つの特徴量(重要度が異なる)を2次元に埋め込み、ReLUで非線形フィルタリングをかけ、特徴の疎さ(どれだけ稀にしか出現しないか)を変化させる実験を行いました。

特徴が密(頻繁に出現する)なとき、モデルは最も重要な2つの特徴だけを直交する基底で表現し、残り3つの特徴は表現しません。主成分分析(PCA)に近い挙動です。ところが特徴を疎にすると、様相が一変します。モデルは3つ以上の特徴を、2次元という限られた空間に押し込んで表現し始めるのです。これが重ね合わせです。

疎な特徴に対しては、重ね合わせによって線形モデルの限界を超えた圧縮が可能になります。ただしその代償として、特徴同士が「干渉」し合うようになり、この干渉を取り除くには非線形なフィルタリング(ReLUなど)が必要になります。さらに研究では、単純な絶対値計算のような回路であれば、重ね合わせられた状態のままでも計算を実行できることも示されました。これは、実際に観測されるニューラルネットワークが、もっと大きくて疎な仮想のネットワークを「ノイズありでシミュレートしている」と捉えられる可能性を示唆しています。

特徴は方向で表現される — 線形表現仮説

この研究の理論的な土台にあるのが「線形表現仮説」です。ネットワークの特徴は、活性化空間における「方向」として表現されているという考え方です。有名な例が単語埋め込みで、V("king") - V("man") + V("woman") = V("queen") のようなベクトル演算が成立するのは、性別や王族といった概念が特定の方向に対応しているからだと解釈されます。

この仮説は2つの性質に分解できます。分解可能性(ネットワークの表現は独立して理解可能な特徴に分解できる)と、線形性(特徴は方向として表現される)です。ニューラルネットワークが線形な表現を好む理由として、研究では3点を挙げています。線形表現は層が実装する自然なアルゴリズムの出力になりやすいこと、次の層のニューロンが単一のステップで特徴を選択・利用できる「線形アクセス可能性」を持つこと、そして統計的な効率です。

ここで重要なのは、線形表現が持てる特徴の数は次元数までだと思われがちですが、実際にはそうではないという点です。重ね合わせという戦略を使えば、次元数よりはるかに多くの特徴を線形表現の中に格納できます。

特権基底と重ね合わせ — 2つの綱引き

なぜあるニューロンは特徴ときれいに対応し、別のニューロンは多義的になるのか。研究はこれを2つの相反する力の綱引きとして説明します。

1つは「特権基底(privileged basis)」です。活性化関数の適用などアーキテクチャ上の理由で、基底方向そのものが特別な意味を持つ表現があります。この場合、特徴が基底方向(=ニューロン)に揃いやすくなります。もう1つが重ね合わせで、線形表現がニューロン数より多くの特徴を表現しようとする力です。これは特徴をニューロンとの対応から遠ざける方向に働きます。特権基底があっても、重ね合わせが強く働けば、ニューロンは多義的になります。

重ね合わせは連続的でなく相転移で起きる

トイモデルの実験から得られた最も意外な結果の1つが、特徴が重ね合わせに格納されるかどうかは、なだらかな変化ではなく相転移として起きるという発見です。ある条件を境に、特徴は「専用のニューロンを持つ」状態と「他の特徴と重ね合わされる」状態のあいだで急激に切り替わります。

この相転移という性質は、研究チームにとって希望の材料でもあります。重ね合わせは永久に消せないものだと考えがちですが、相転移が存在するということは、重ね合わせがまったく起きない領域(レジーム)が存在することを意味するからです。モデルをその領域に押し込む方法さえ見つかれば、原理的には重ね合わせを完全に取り除ける可能性が残ります。

さらに重ね合わせは、幾何学的にランダムな配置にはなりません。特徴の重要度や疎さの条件によって、二角形・三角形・五角形・四面体のような、対称性の高い幾何学的構造に自己組織化することも報告されています。

トイモデルの予測は現実のモデルでも当てはまるのか

トイモデルはあくまで単純化された実験環境であり、実際の大規模モデルにそのまま当てはまるとは限りません。研究チームはこの妥当性を、多義性(polysemanticity)に関する既存の観察結果と照らし合わせて検証しています。

まず、多義的なニューロンは実際に幅広いネットワークで観測されており、トイモデルの第3実験(複数特徴を扱う設定)でも同様に多義的なニューロンが形成されました。次に、同じ層の中に「きれいに解釈可能なニューロン」と「多義的なニューロン」が混在する現象も、実モデルとトイモデルの両方で確認されています。さらに、画像認識モデルのInceptionV1では、層が深くなるほど多義的なニューロンの割合が増えることが分かっていますが、これは高次の特徴ほど出現頻度が下がって疎になるためだとトイモデルの理論から説明できます。

Transformer言語モデルの最初のMLP層のニューロンが極端に多義的である理由も、この枠組みで説明が付きます。最初のMLP層の役割の1つが、同じトークンの異なる解釈(例えば「die」が英語・ドイツ語・オランダ語・アフリカーンス語のどれかを見分けること)を区別することだとすれば、そうした特徴は極めて疎になるため、理論上も多義性が強く出ると予測されます。

研究チーム自身も、トイモデルのすべての側面が実モデルに一般化するとは考えていません。重ね合わせや多義性、敵対的サンプルとの関係といった性質は一般化しやすい一方、幾何学的構造や学習ダイナミクスの詳細はより不確実性が高いと位置づけられています。

重ね合わせの解消が解釈可能性の鍵になる理由

このトイモデル研究の関心は、単なる数理的な興味にとどまりません。研究チームが強調するのは、重ね合わせが解釈可能性を使ってAIシステムの安全性を主張するための、最も有望な経路への明確な障害になっているという点です。Anthropicの安全性研究はClaude製品のどこに入っているかという問いを考えるうえでも、重ね合わせの解消は前提となる技術的な課題です。

モデルが特定の有害な振る舞い(欺瞞や操作など)を決して行わないと主張するには、モデルが持つすべての特徴を列挙できる能力が強力な武器になります。重ね合わせが存在しない場合、特徴はニューロンに対応するため、ニューロンを1つずつ列挙すれば特徴を列挙できます。しかし重ね合わせが起きていると、方向を1つ特定できても、その方向を単純に取り除いて次の特徴を探すという操作(グラム・シュミット法のような)が成立しません。こうした「モデルの内部に何が存在しないかをどう保証するか」という論点は、Claudeシステムカードの読み方が扱う安全性評価の限界とも直接つながっています。

研究では「重ね合わせを解く」ための3つの戦略を提示しています。①重ね合わせを起こさないモデルを設計する、②訓練後のモデルから過完備な基底(オーバーコンプリートベーシス)を見つけ出す、③両者を組み合わせるハイブリッド手法です。トイモデルではL1正則化を使えば重ね合わせを実際に減らせることも示されましたが、性能とのトレードオフが伴います。この②の方向を実際の言語モデルに応用したのが、後継研究のスパースオートエンコーダによる辞書学習です。

まとめ

Anthropicのトイモデル研究は、ニューロン数より多い特徴をネットワークが表現する「重ね合わせ」という現象を、小さなReLUネットワークで直接実証しました。重ね合わせは特徴が疎であるほど強く起き、なだらかな変化ではなく相転移として現れ、格納された特徴は幾何学的な構造を作ります。この現象を理解することは、モデルの内部で何が起きているかを列挙し、安全性を検証可能な形で主張するための前提条件として位置づけられています。

重ね合わせを実際のモデルから解読する試みは、スパースオートエンコーダを使った辞書学習という形で進みました。モデル自身に解釈可能性やアラインメントの研究をさせる関連の取り組みは、Anthropic Research:Automated Alignment Researchersの核心で扱っています。