データ重複とスケーリング則で性能はどう壊れるか — Anthropic研究

データのわずかな重複が性能を大きく壊す

「Scaling Laws and Interpretability of Learning from Repeated Data」は、Anthropicが2022年5月に公開した研究です。大規模言語モデルの学習データには、質の高いデータを重み付けする意図で意図的に重複させる場合と、重複除去(dedup)が不完全で文・段落・文書レベルの重複が紛れ込む場合があります。この研究のテーマは単純です。ごく一部の重複がモデル性能にどれだけ悪影響を与えるかを、系統的に調べています。

結果は直感に反する規模でした。学習データのうち0.1%を100回繰り返し、その繰り返し分が訓練トークンの10%を占めるようにします。残る90%のトークンはユニークなままです。それだけで、8億パラメータのモデルの性能が4億パラメータ(2分の1規模)のモデル相当まで劣化したと報告されています。ごく少数のデータを高頻度で繰り返すだけで、これほど大きな劣化が起きる点が本研究の出発点になっています。

二重降下(double descent)という現象

この劣化はランダムに起きるのではなく、特定の「繰り返し頻度の範囲」で最大化されるという規則性を持っています。論文はこれを二重降下(double descent)という現象として説明します。通常、訓練が進むにつれてテスト損失は単調に下がっていきますが、特定の頻度で同じデータを繰り返すと、訓練の途中でテスト損失が一度上昇してから再び下降するという、字義通りの二重降下カーブが観測されました。

90%のデータを繰り返す極端な条件で、100〜10,000回という頻度域では、損失が下がり、上がり、また下がるという明確な二重降下カーブが確認されています。繰り返す割合を50%まで下げると、カーブの形は二重降下から長いプラトー(停滞域)に変化します。これも本質的にはエポック単位の二重降下と同じ現象だと論文は説明します。劣化が起きるモデルサイズの範囲は繰り返し頻度ごとに決まり、劣化の深さもモデルサイズで変わります。1,220回・10%重複では1,000万〜1億パラメータ帯で0.55倍相当まで落ち込み、10億パラメータでは0.8倍相当まで回復します。

GPT-3やGopherのような大規模モデルへの含意

劣化域は予測できます。論文は、この劣化域の分布を800M・400Mパラメータ規模だけでなく、より広いモデルサイズと繰り返し頻度の組み合わせで測定し、劣化が起こる領域を図示しています。ある頻度(122回の繰り返しエポック)では、モデルサイズが約1億パラメータを超えたあたりから通常のべき乗則スケーリングから大きく逸脱し始めます。別の頻度(12,200回)では、約4億パラメータ付近で同様の逸脱が起きます。

高品質データにも罠があります。この結果から論文は、GPT-3・Gopher・PaLMのような大規模モデルは、Wikipediaや書籍のような高品質データセットを過学習しすぎないよう注意する必要があると指摘しています。ただしこの指摘は総訓練トークン数を一定に保った条件での話であり、高品質データを重視すること自体を否定するものではありません。

なぜコピー能力が真っ先に壊れるのか

コピー能力が真っ先に壊れます。論文はハリー・ポッターの最初の段落を11回コピーさせるという単純な評価タスクを作り、モデルがどれだけ正確に既出テキストを繰り返せるかを測定しました。結果、3%のデータを最悪の頻度で繰り返した場合、通常のテスト損失では最大でも1.15倍相当のモデルサイズ縮小にしかなりません。一方でこのコピー評価では3倍相当のモデルサイズ縮小という、著しく不釣り合いな劣化が確認されています。

この不均衡さが示唆するのは、データの重複によって引き起こされる劣化が、モデル全体を均等に劣化させるのではなく、特にコピーや汎化に関わる仕組みを選択的に傷つけているという点です。二重降下のピークでは、モデルはハリー・ポッターの段落を何度追加でコピーしても損失が全く下がらないという、正常なモデルには見られない挙動を示しました。

induction headsへの損傷という機構的な説明

このコピー能力の劣化は、メカニズム解釈可能性(mechanistic interpretability)の観点から説明できます。着目するのは「induction heads」と呼ばれる、2つのアテンションヘッドの組み合わせで「パターンを補完する」ように系列をコピー・補完する構造です。induction headsは、注目すべきトークンへの参照(prefix matching)と、参照先のトークンのロジットを増加させる処理の組み合わせとして定義されます。

損傷は選択的です。論文はランダムなトークン列を繰り返し与えるprefix matchingスコアという指標でこの構造の健全さを測定し、データの重複がinduction headsを選択的に損傷させることを確認しました。3%の重複データで、prefix matchingスコアは平均で2倍相当のモデルサイズ縮小に相当する劣化を示す一方、通常のテスト損失では1.15倍相当の縮小にとどまっています。さらに際立った例もあります。1.5Mパラメータのモデルで50%重複という条件では、段落レベルのコピーが完全に崩壊し、そのモデルの総合性能は3万パラメータ相当まで落ちます。一方でprefix matchingスコアだけを見ると、わずか2,000パラメータ相当まで崩壊していました。

小さな1〜2層のアテンションのみのモデルを詳しく調べると、固有名詞の正確なコピーと、あいまいなコピー(例えば「Dursley」が既出であることから「Dursleys」を正しく予測すること)の両方が重複データの影響で悪化していました。トークンごとの損失を見ても、コピーという単純で理解しやすい形でこの劣化が現れることが、目視でも確認できたとしています。

Pythonコードでも同じ現象が起きる

この二重降下と予測可能な劣化域という現象は、自然言語だけでなくPythonコードを学習データにした場合でも起きます。曲線の形状は自然言語の場合と多少異なりますが、モデルサイズと繰り返しエポック数の組み合わせに応じた予測可能な劣化域は同様に存在します。データの種類に依存しない、より一般的な学習ダイナミクスだと分かります。

induction headsの損傷はスケーリング則の何を説明したのか

induction headsは、この論文より前にAnthropicの解釈可能性チームが定義した構造です。モデルの重みや活性化を直接調べて内部の計算過程を復元する「メカニズム解釈可能性」という研究分野に属します。この論文は、スケーリング則という統計的・外形的な現象(モデルサイズと損失の関係)と、メカニズム解釈可能性という内部構造の観測を組み合わせました。単に「重複データは悪い」という経験則の確認では終わりません。prefix matchingという具体的な測定量を通じて、悪影響がモデルのどの部分に、どのような形で現れるのかを可視化しています。

この着眼点は本研究に固有ではありません。モデルが評価環境をどう認識しているかを調べたOpus 4.6のeval awareness研究や、モデル自身にアライメント上の欠陥を発見・修正させるAutomated Alignment Researchersは、Claudeの内部の振る舞いを仕組みのレベルで理解しようとする一連の研究群です。データの前処理段階における品質管理という観点では、取得した文書の構造化を扱うContextual Retrievalとも問題意識を共有しています。

重複除去の精度は学習コストの何を左右するか

結論は一言でまとまります。「一般化から記憶への切り替わり」です。データを繰り返し学習する中盤で、モデルはそのデータを記憶してしまい、容量の大きな部分を消費する領域が生まれます。その領域が劣化のピークと一致するという仮説です。二重降下の谷とinduction headsの損傷という2つの観測結果は、この切り替わりがモデルの一部の回路を実際に破壊するメカニズムだという、統合的な描像を提供しています。

重複除去(dedup)の精度は軽視されがちです。この研究の価値は、学習データのごく一部が特定の頻度で繰り返されるだけで、モデル全体の性能がモデルサイズにして数分の1相当まで劣化しうることを定量的に示した点にあります。Claudeを含む大規模言語モデルの学習実務で、データセットの重複除去と精度検証が軽視できない工程である理由を、メカニズムのレベルまで掘り下げて説明した基礎研究です。

まとめ

Anthropicのこの研究は、学習データのごくわずかな重複が、二重降下という予測可能な現象を通じてモデル性能を大きく劣化させることを示しました。劣化はモデル全体に一様に及ぶのではなく、コピーや汎化に関わるinduction headsという具体的な内部構造を選択的に損傷させる形で起きることが、メカニズム解釈可能性の手法で確認されています。この結果は、データの重複除去の精度が大規模モデルの学習品質に直結するという実務的な教訓を、内部動作のレベルまで裏付けた基礎研究です。