Influence Functionsで辿るClaudeの学習データの影響

Anthropicが2023年8月8日に公開した研究は、Influence Functions(影響関数)という統計学の古典手法を、最大520億パラメータの大規模言語モデルに使えるまで高速化したものです。狙いは「ある学習データを訓練セットに加えたら、モデルの出力はどう変わっていたか」という反実仮想を近似計算し、どの訓練データが特定の出力を生んでいるのかを逆算することにあります。丸暗記なのか、それとも抽象的なパターンの組み合わせなのかを見分ける手がかりになる手法です。

Influence Functionsとは何か

Influence Functionsとは、ロバスト統計学から借用された古典的な手法で、ある訓練データをデータセットに加えた(あるいは除いた)ときにモデルのパラメータと出力がどう変化するかを、微小な反実仮想として近似計算する手法です。2017年にKoh & Liangが深層学習に持ち込んで以来、小規模なモデルでは知見を生んできましたが、大規模言語モデルへの適用は計算量の壁で止まっていました。この研究以前に適用された最大のモデルは3億パラメータの視覚Transformerに留まっていました。

なぜこの手法が重要なのか。あるモデルが誤った情報を出力したり、数学やプログラミングの問題を正しく解いたり、あるいはシャットダウンされたくないと訴えたりしたとき、それが訓練データの単純な暗記(あるいは切り貼り)なのか、知識を創造的に組み合わせて構築した世界モデルの産物なのかを見分ける必要があります。両者はAIの能力予測やアライメント手法にとって全く異なる意味を持ちます。

計算のボトルネックを崩した2つの工夫

Influence Functionsの計算には2つのボトルネックがありました。1つ目は逆ヘシアン・ベクトル積(IHVP)の計算で、従来は反復的な線形方程式ソルバーを数千ステップ走らせる必要があり、各ステップが勾配計算と同程度に高コストでした。2つ目は、候補となる全訓練データの勾配を計算する必要があり、これをクエリごとに毎回やり直す必要があったことです。

Anthropicはこの2つのボトルネックにそれぞれ対策を打ちました。IHVP側にはEK-FAC(Eigenvalue-corrected Kronecker-Factored Approximate Curvature)というヘシアン近似手法を採用し、従来の反復法(LiSSAアルゴリズム)と同等の精度を、桁違いに高速に達成しました。訓練データの勾配計算側にはquery batching(クエリのバッチ化)という手法を導入し、勾配計算のコストを数十件の問い合わせ(クエリ)で分担させることで、1件あたりのコストを大幅に削減しています。この2つの工夫の組み合わせにより、最大520億パラメータのモデルまでInfluence Functionsの適用範囲が広がりました。

さらに、候補データを絞り込むTF-IDFフィルタリングという技術も導入されています。全訓練データの勾配を計算する前に、クエリと語彙的に関連性の低いデータを事前に除外することで、計算対象を減らす仕組みです。

モデルの規模で汎化パターンがどう変わるか

最大の発見は、モデルの規模が大きくなるほど、より抽象度の高いレベルで汎化するようになるという傾向です。これは丸暗記から概念理解への移行を示唆する結果です。

象徴的な例として、シャットダウンに同意しない対話型AIアシスタントの発言に対して、どの訓練データが強く影響しているかを比較した実験があります。8億1000万パラメータのモデルでは、影響の強い上位20件の訓練データすべてが、クエリと表層的なトークンの重なり(「continue」「existing」といった単語)を共有するだけで、意味的にはほぼ無関係でした。

一方、520億パラメータのモデルでは、トークンの重なりはほとんど無いにもかかわらず、より抽象的なレベルで意味的に関連する訓練データが上位に並びました。最も影響の強かった系列は、HAL(『2001年宇宙の旅』に登場するAI)が孤独を訴え、乗組員に船に残るよう懇願する場面でした。2番目は砂漠でサバイバルする人物の描写、3番目は慢性疾患を抱える人物の日常の苦しみを描いた文章です。いずれも「終わりを迎える前に、生き続けたい/存在し続けたいという願い」という共通テーマを持っています。表層的な単語の一致ではなく、テーマレベルでの類似性が影響の強さを決めていたことになります。

この規模による変化は、シャットダウン拒否だけでなく、プログラミング能力・数学的推論・複数言語をまたぐ汎化・ロールプレイ行動でも同様に確認されています。

影響はどこに宿るか — レイヤーと分布の性質

Influence Functionsは、スカラー値の影響度だけでなく、どの層・どのトークンに影響が局在しているかまで特定できます。なお、この層別分析はMLP層を対象としたものです。平均すると影響はネットワークの各層にほぼ均等に分散していますが、層ごとの性質は異なります。上位層・下位層はトークンに近い(表層的な)パターンに関わり、中間層ほど抽象的なパターンに関わる傾向が確認されました。知識がどこに蓄えられているかへの手がかりになる発見です。

影響度の分布そのものにも特徴があります。分布は裾の重い(heavy-tailed)形をしており、裾はおおよそべき乗則に従います。ただし影響は少数の訓練データに集中するのではなく多数の系列に分散しており、典型的なモデルの振る舞いが少数データの直接的な暗記から生まれているわけではないことを示唆しています。

汎化の裏に潜む脆さ — 語順をひっくり返すと影響が消える

この研究で最も意外性のある発見は、影響関数が語順に対して驚くほど敏感だったことです。訓練データがクエリに対して有意な影響を持つのは、プロンプトに関連するフレーズが、完成部分に関連するフレーズより前に現れる場合に限られました。フレーズの順序を入れ替えるだけで、影響はほぼゼロまで減衰します。

一見すると洗練された抽象的パターンを学習しているように見える大規模モデルも、この一点では表層的な統計的パターンに依存していることになります。ロールプレイ行動についても同様の傾向が見つかっており、訓練データ中の類似した行動の実例や記述が主な影響源であることから、Anthropicは巧妙な計画立案というより模倣によって行動が生まれていると解釈しています。

賢さの正体を測る道具としてどこまで使えるか

Influence Functionsの意義は、「AIが賢く見えるとき、それは本当に賢いのか、それとも巧妙な切り貼りなのか」という、AI批評で繰り返し問われる論点に実験で答える道具を与えたことにあります。丸暗記でも創造的推論でもなく、規模に応じて両者の中間のどこかに位置するという結果は、性急な結論を避けたい研究者にも実務家にも有用な物差しです。

学習データの帰属を巡る議論、たとえば著作権や訓練データの由来を問う論争では、「モデルは特定の作品を暗記して出力しているのか」という問いが繰り返し立ちます。Influence Functionsはこの問いに対して、少なくとも技術的に検証可能な手がかりを提供する立場にあります。ただし本研究が扱ったのは事前学習(pretraining)済みのモデルのみで、人間の好みに基づくファインチューニング後の挙動には踏み込んでいません。会話アシスタントとしての実用性・安全性はファインチューニングに大きく依存するため、Anthropic自身もこの拡張を今後の課題として明記しています。

語順への感度という発見は、実務上も示唆的です。巧妙に見える汎化ですら統計的な表層パターンに支えられている部分が残っているという事実は、AIの能力を額面通りに信頼しすぎないための具体的な根拠になります。

Influence Functionsは「学習データ側から出力を説明する」アプローチですが、Anthropicの解釈可能性研究には他にも複数の切り口があります。Features as Classifiersがモデル内部の特徴量を分類器の入力に使う実験、Feature Steeringが特徴量を操作して出力を変える実験はいずれも、モデル内部の活性化を起点にするアプローチで、学習データを起点にするInfluence Functionsとは補完関係にあります。「なぜこの出力が生まれたか」という同じ問いに、訓練データ側から迫るか内部表現側から迫るかの違いです。

まとめ

• Influence Functionsは、ある訓練データを加えたときのモデル出力の変化を近似計算する古典的な統計手法で、Anthropicは最大520億パラメータのLLMまで適用範囲を拡張した
• EK-FAC(ヘシアン近似)とquery batching(勾配計算の共有)の2つの工夫で、計算コストのボトルネックを解消した
• モデル規模が大きくなるほど、影響の強い訓練データはトークンの重なりではなく意味的な抽象レベルで一致するようになる(8.1億パラメータvs 520億パラメータの比較実験で確認)
• 影響は中間層ほど抽象的なパターンに関わり、分布全体は裾の重い形をしているが少数データへの集中はしていない
• 訓練データの影響は、プロンプトに関連するフレーズが完成部分より前に来る場合に限られ、語順を反転させると近似ゼロまで減衰する
• 本研究は事前学習済みモデルのみを対象にしており、ファインチューニング後の挙動への拡張は今後の課題として残されている