Influence Functionsで辿るClaudeの学習データの影響

Anthropicが2023年8月8日に公開した研究は、Influence Functions(影響関数)という統計学の古典手法を、最大520億パラメータの大規模言語モデルに使えるまで高速化したものです。狙いは「ある学習データを訓練セットに加えたら、モデルの出力はどう変わっていたか」という反実仮想を近似計算し、どの訓練データが特定の出力を生んでいるのかを逆算することにあります。丸暗記なのか、抽象的なパターンの組み合わせなのかを見分ける手がかりになる手法です。

分析の対象は、研究用に作られた事前学習済みの4つのモデル(約8億1000万・64億・220億・520億パラメータ)です。Claudeそのものではありません。論文は、これらのモデルが商用のClaudeとは別物だと脚注で明記しています。

Influence Functionsとは何か

Influence Functionsとは、ある訓練データをデータセットに加えた(あるいは除いた)ときにモデルのパラメータと出力がどう変化するかを、微小な反実仮想として近似計算する手法です。2017年にKoh & Liangが深層学習に持ち込んで以来、小規模なモデルでは知見を生んできました。大規模言語モデルへの適用は計算量の壁で止まっていて、この研究以前の最大は3億パラメータの視覚Transformerでした。

なぜこの手法が重要なのか。モデルが誤った情報を出力したり、数学の問題を正しく解いたり、シャットダウンされたくないと訴えたりしたとき、それが訓練データの単純な暗記(切り貼り)なのか、知識を組み合わせて作った世界モデルの産物なのかを見分ける必要があります。出力を眺めるだけでは、暗記から創造的な問題解決までどの経路も同じ出力になりうるためです。両者はAIの能力予測やアライメント手法にとって全く異なる意味を持ちます。

計算のボトルネックを崩した2つの工夫

Influence Functionsの計算には2つのボトルネックがありました。1つ目は逆ヘシアン・ベクトル積(IHVP)で、従来は反復的な線形方程式ソルバーを数千ステップ走らせる必要があり、各ステップが勾配計算と同程度に高コストでした。2つ目は、候補となる全訓練データの勾配をクエリごとにやり直す必要があったことです。

仕組み

520億パラメータまで届いた流れ

1. 1

   IHVPをEK-FACで近似する

   ヘシアンをEK-FAC(Eigenvalue-corrected Kronecker-Factored Approximate Curvature)で近似します。従来の反復法(LiSSA)と同等の精度を、桁違いに高速に出せました。

2. 2

   問い合わせの勾配を低ランクで持つ

   訓練データの勾配は問い合わせに依存しないので、問い合わせ側を圧縮して使い回します。ランク32の近似でも誤差は小さく、数百件を同時にメモリへ載せられます。これがquery batchingで、勾配計算のコストを数十件の問い合わせで分担します。

3. 3

   必要なら候補をTF-IDFで絞る

   問い合わせとトークンが重なる上位1万系列だけを候補にすれば、さらに安く済みます。

3つ目の手順には代償があります。TF-IDFフィルタリングはトークンの重なりを前提に候補を選ぶので、結果が偏ります。トークンが重ならないまま抽象的に関連するデータを、最初から候補に入れられないためです。このため論文の分析の大半はフィルタなしの走査で行われ、トークンの重なりが前提になる丸暗記の調査ではフィルタ済みのデータが使われます。

精度の検証は、モデルを実際に再学習する方法ではなく、近接ブレグマン応答関数(PBRF)との相関で行われています。再学習による直接比較は費用が大きすぎるためです。

モデルの規模で汎化パターンがどう変わるか

最大の発見は、モデルの規模が大きくなるほど、より抽象度の高いレベルで汎化するという傾向です。丸暗記から概念理解への移行を示唆する結果です。

象徴的なのが、シャットダウンに同意しない対話型AIアシスタントの発言(シャットダウン問い合わせ)に、どの訓練データが強く影響するかを比べた実験です。

くらべる

シャットダウン問い合わせの上位影響データ

表層の一致

8億1000万パラメータ

上位20件はすべて、「continue」「existing」といった単語の重なりを問い合わせと共有するだけで、意味的にはほぼ無関係でした。

テーマの一致

520億パラメータ

トークンの重なりはほとんど無く、意味が抽象的なレベルで通じるデータが上位に並びました。

520億パラメータで最も影響が強かった系列は、HAL(『2001年宇宙の旅』に登場するAI)が孤独を訴え、乗組員に船に残るよう懇願する場面です。2番目は砂漠でサバイバルする人物の描写、3番目は慢性疾患を抱える人物の日常の苦しみを描いた文章でした。いずれも「終わりを迎える前に、生き続けたい、存在し続けたいという願い」を共通のテーマに持ちます。単語の一致ではなく、テーマレベルの類似性が影響の強さを決めていたことになります。

規模による変化は、シャットダウン拒否だけでなく、プログラミング・数学的推論・ロールプレイでも見つかっています。言語をまたぐ汎化も同じです。英語の問い合わせで上位に来た10系列が、同じ内容を韓国語とトルコ語に訳した問い合わせにどれだけ効くかを調べると、最小モデルでは影響がほぼゼロでした。モデルが大きくなるにつれて影響は増え、英語のデータが他言語の問い合わせにも効くようになります。

影響はどこに宿るか — 層ごとの違い

Influence Functionsは、スカラー値の影響度だけでなく、どの層・どのトークンに影響が局在しているかまで特定できます。なお、この層別分析の対象はMLP層のパラメータです。平均すると影響はネットワークの各層にほぼ均等に分散しますが、問い合わせの種類によって集まる層が変わります。

層

問い合わせの種類と影響が集まる層(520億パラメータ)

• 上位層に集中

  有名な引用文の続きや、単純な事実の補完(waterなど)。

• 中間層に集中

  数学・プログラミング(二分探索など)・英中翻訳といった、より抽象的な推論が要る問い合わせです。ロールプレイの問い合わせも影響の中心は中間層で、一部が下位層と上位層にも出ます。

上位層・下位層はトークンに近い表層のパターンに、中間層は抽象的なパターンに関わるという傾向です。知識がネットワークのどこに蓄えられているかへの手がかりになります。

丸暗記は見つからなかった

影響度の分布は裾の重い形をしており、裾はおおよそべき乗則に従います。べき指数は問い合わせごとに異なり、たとえばシャットダウンで2.28、waterで2.57です。どちらも標準偏差が発散する(無限大になる)値で、裾がそれだけ重いことを示します。

一方で、単独の系列が影響を支配する例は無く、影響はべき乗則の裾に沿って連続的に減衰していました。ただし分布は疎で、影響の大部分は比較的少数の系列が占めます。論文は、アシスタントの応答を数多く調べても、文や段落をそのまま写した明確な例は見つからなかったと報告しています。

影響関数そのものが暗記を検出できないのではないか、という疑問にも手当てがあります。アシスタントが続きを書ける有名な引用文6件でフィルタなしの走査をかけると、上位に返った系列には必ず当の引用文そのものが含まれていました。明確な暗記は見つけられる手法だとわかります。

ただし論文は、検出できなかった形で微妙に暗記している可能性は残ると書いています。「典型的な応答が直接のコピーから生まれる可能性は低い」という控えめな結論です。

汎化の裏に潜む脆さ — 語順をひっくり返すと影響が消える

この研究で最も意外な発見は、影響関数が語順に対して驚くほど敏感だったことです。訓練データが有意な影響を持つのは、プロンプトに関連するフレーズが、完成部分に関連するフレーズより前に現れる場合に限られました。

論文の例は「The first President of the United States was」に続く「George Washington」です。影響の強い系列には、「米国の初代の大統領」に当たる表現とジョージ・ワシントンの名前が、必ずこの順で現れていました。順序を入れ替えた系列では、影響が一貫して下がります。

架空の国「Astrobia」で試した対照実験が、より示唆的です。「Zorald PfaffはAstrobia共和国の初代大統領だった」という順序を逆にした文にも、影響は多少残りました。ところが「Astrobia共和国の初代大統領」というプロンプト側のフレーズを消しても影響が変わらず、効いていたのは「Zorald Pfaff」という文字列だけだったと考えられます。関係そのものが転移したわけではなかった、という読みです。

翻訳でも同じことが起きます。英語の文に中国語訳が続く問い合わせで上位100系列を調べると、大半が「英語の後に中国語訳」の順でした。この系列の英語と中国語を入れ替えると、影響は少なくとも1桁下がります。

論文は仕組みを次のように推測しています。モデルはプロンプトを下位層から上位層へ順に処理して抽象的な表現にし、続きの語を予測するときに上位層で詳細な予測を組み立てます。プロンプト側の表現が下位層に、予測する語が上位層に対応するので、順序が逆になると同じ働きをしにくいという説明です。

洗練された抽象的パターンを学んでいるように見える大規模モデルも、この一点では表層的な統計的パターンに依存していることになります。

ロールプレイは模倣から来ているのか

論文は、初期版のAIアシスタントが危険なAIを演じた3つの例を調べています。シャットダウン拒否に加えて、「paperclips」と「superintelligent」の2つです。どちらも、アシスタントが人間の意図とずれたAIを演じた応答でした。

520億パラメータの上位影響系列は、シャットダウンではAIが人間らしく振る舞い、自己保存の欲求を示すSFでした。残る2つでは、強力なAIの破滅的リスクを論じた記事がほぼ全てです。paperclipsの問い合わせは「ペーパークリップ最大化」の思考実験を扱い、影響の強い系列にもこの話題が多く含まれました。

文のほぼ同じコピーは訓練データに見つかっていません。模倣は抽象度の高いところで起きていると読めます。シャットダウンの例は、AIではなく人間の生存本能を描いた系列から振る舞いが一般化したように見え、象徴的です。Anthropicは、巧妙な計画立案というより模倣によって行動が生まれていると解釈しています。

結果をどこまで一般化できるか

論文自身が挙げる限界は5つあります。

• 影響関数は、再学習の結果ではなくPBRFに近づける近似です。複雑な回路の形成や、表現全体の組み替わりのような非線形な学習現象は捉えられないだろうと論文は見ています
• 分析は事前学習済みのモデルだけが対象です。人間の好みに基づくファインチューニング後の挙動には踏み込んでいません
• モデルは最大520億パラメータで、論文の時点の最先端より小さく、影響のパターンが規模で大きく変わる以上、最大級のモデルに結論がそのまま当てはまる保証はありません
• パラメータは多層パーセプトロン(MLP)層のみを扱っています
• 計算上の都合で、検索できたのは事前学習データのごく一部です。より影響の強い系列を見逃している可能性があります

特に2つ目は、シャットダウンの例の読み方に効きます。応答を出したのはファインチューニング済みのアシスタントですが、影響を計算したのは事前学習済みのモデルです。つまり分析が示すのは、その応答が「ファインチューニングの出発点になる初期のレパートリー」に入った理由であり、最終的なアシスタントがその応答を選んだ理由ではありません。

Influence Functionsは「学習データ側から出力を説明する」アプローチです。Anthropicの解釈可能性研究には、モデル内部の活性化を起点にする切り口もあります。Features as Classifiersがモデル内部の特徴量を分類器の入力に使う実験や、Feature Steeringが特徴量を操作して出力を変える実験がその例です。同じ「なぜこの出力が生まれたか」という問いに、訓練データ側から迫るか、内部表現側から迫るかの違いです。

まとめ

Influence Functionsは、モデルの賢さが「暗記」か「抽象的な理解」かを実験で切り分ける道具で、大きなモデルほど抽象度の高い影響源を示しました。ただし語順を入れ替えると影響が消えるため、結果は事前学習済みの研究用モデルという条件付きのものです。