データ重複とスケーリング則で性能はどう壊れるか — Anthropic研究
学習データのごく一部を繰り返すだけでモデル性能が半分規模相当まで落ちる条件をAnthropicが測定。二重降下とinduction headsへの損傷から仮説を読む。
データのわずかな重複が性能を大きく壊す
「Scaling Laws and Interpretability of Learning from Repeated Data」は、Anthropicが2022年5月に公開した研究です。大規模言語モデルの学習データには、質の高いデータを重み付けする意図で意図的に重複させる場合と、重複除去(dedup)が不完全で文・段落・文書レベルの重複が紛れ込む場合があります。この研究は、ごく一部の重複がモデル性能にどれだけ悪影響を与えるかを系統的に調べています。
結果は直感に反する規模でした。学習データの0.1%を100回繰り返し、その繰り返し分が訓練トークンの10%を占めるようにします。残る90%のトークンはユニークなままです。それだけで、8億パラメータのモデルの性能が4億パラメータ(2分の1規模)のモデル相当まで落ちたと報告されています。
この研究が示した主な数字
10%重複(最悪の頻度)
約2分の1
8億パラメータが3.4億〜4億相当に
コピー評価(3%重複)
最大3分の1
通常のテスト損失では最大1.15倍の縮小
prefix matching(3%重複)
平均で約1.5分の1
induction headsの働きを測る指標。図6の例では2分の1
繰り返しの頻度
約100倍
8億モデルで劣化が最大になる付近
実験の組み立て:繰り返すのは10%、残りは一度しか見せない
研究の設計は単純です。元の大きなテキストデータから、訓練データの90%を重複なしで取ります。残り10%は、ごく小さな部分集合を何度も繰り返したものです。10%という総量は固定したまま、繰り返す部分集合の大きさを変えます。0.01%を1,000回繰り返す場合もあれば、1%を10回繰り返す場合もあります。
モデルは8,192トークンの文脈長を持つデコーダーのみのTransformerで、すべて1,000億トークン分を学習しました。学習データは4,000億トークンの言語データセットで、約55%が厳しくフィルタしたCommon Crawl、約32%がインターネット上の書籍です。残りにOpenWebText・Wikipedia・Stack Exchangeなどが含まれます。モデルサイズは約3桁、繰り返す部分集合の大きさは約2.5桁、繰り返しが占める割合は約2桁の範囲で振っています。評価に使うテスト損失は、繰り返しデータを一切含まない別枠のテキストで測った値です。
二重降下(double descent)という現象
この劣化はランダムに起きるのではなく、特定の「繰り返し頻度の範囲」で最大になります。論文はこれを二重降下という現象として説明します。通常、訓練が進むにつれてテスト損失は下がり続けます。ところが特定の頻度で同じデータを繰り返すと、訓練の途中でテスト損失が一度上がり、その後また下がります。
90%のデータを繰り返す極端な条件で、100〜10,000回という頻度域では、損失が下がり、上がり、また下がる明確な二重降下カーブが出ます。繰り返す割合を50%まで下げると、カーブは長いプラトー(停滞域)に変わります。論文はこれも本質的にはエポック単位の二重降下と同じ現象だと説明します。
劣化が起きるモデルサイズの範囲は、繰り返し頻度ごとに決まります。深さもモデルサイズで変わります。1,220回・10%重複では、1,000万〜1億パラメータ帯で0.55倍相当まで落ち込み、10億パラメータでは0.8倍相当まで回復します。122回の繰り返しなら、落ち込みは10億パラメータ付近に移ります。
損失がゼロに近づく点が、劣化のピークと重なる
ピークの目印は、繰り返した部分での訓練損失です。論文の図2では、劣化が最大になる付近で、繰り返しデータに対する訓練損失がゼロに近づいています。モデルが繰り返し部分を丸暗記し始める地点と、全体の性能が崩れる地点が一致するわけです。
この一致は診断に使えます。繰り返しデータが性能を傷つけているかどうかを、繰り返し部分の訓練損失がゼロに近いかどうかで当たりをつけられると、論文自身が述べています。
では、なぜ10%を暗記するだけで全体が傷むのでしょうか。論文の議論は、損失の簡単な算術で説明します。目安として、8億パラメータのモデルの損失は1トークンあたり約2.0 nats、4億パラメータなら約2.2 natsで、完全に暗記したデータの損失は0です。
8億モデルが10%を暗記するときの損得
暗記しない
90%も10%も、8億モデルの通常の水準である損失2.0で処理します。
10%を暗記する
モデル能力が4億相当に落ちるため、残り90%の損失は2.2に悪化します。一方で10%は損失0になり、0.9×2.2+0.1×0=1.98と、平均では暗記したほうが小さくなります。
損失0という値が、モデルサイズ間の差より桁違いに大きな利得になる。だから、ごく小さな部分集合でも、暗記のために能力を差し出す方向に学習が傾く、というのが論文の見立てです。ただし論文自身が「もっともらしい仮説」と位置づけており、検証済みの機構ではありません。
暗記が割に合う頻度は、中間にしかない
この仮説は、劣化が特定の頻度でしか起きない理由も説明します。
繰り返し頻度ごとの様子
- 1
数回しか繰り返さない(5%を2回など)
量が多く、モデルには暗記する容量がありません。見る回数も足りないため、暗記が進まず、劣化は小さいと考えられます。
- 2
中間の頻度(8億モデルで約100回)
暗記できる回数と量が重なり、暗記が容量の大きな部分を食います。劣化がピークになるのは、この範囲だと推測されています。
- 3
とても多く繰り返す(0.01%を1,000回など)
暗記はされますが、対象が小さく、使う容量もわずかです。劣化は小さくなります。
GPT-3やGopherのような大規模モデルへの含意
劣化域は予測できます。論文は、劣化が最大効果の半分以上になる範囲を、モデルサイズと繰り返し頻度の平面上の帯として描きました。帯の両端はどちらも、繰り返し頻度とパラメータ数のべき乗則でよく近似できます。係数は、右端がk=5.1×10⁷・指数-0.50、左端がk=4.2×10⁶・指数-0.56です。
ある頻度(122回の繰り返し)では、モデルが約1億パラメータを超えたあたりから通常のべき乗則スケーリングを外れ始めます。別の頻度(12,200回)では、約4億パラメータ付近で同じ逸脱が起きます。この帯を外挿すると、数千億パラメータの最先端モデルでは、わずか2回の繰り返しでも大きな劣化が出る計算になります。
ここには前提が付いています。この外挿は、訓練トークン数を1,000億に固定した条件の話です。実際の大規模モデルはそれ以上のトークンで訓練され、二重降下のピークを越えて訓練を続ければ性能は戻ります。論文も、劣化は予測ほどひどくならないだろうと書いています。
論文はこの結果から、GPT-3・Gopher・PaLMのような大規模モデルが、Wikipediaや書籍といった高品質データを過学習しすぎないよう注意する必要があると指摘します。
論文自身が挙げる限界
論文は5.5節で限界を挙げています。読むときの射程を決める材料になります。
- 訓練トークン数を全モデルで固定していました。Chinchilla(計算量最適の訓練量を示した研究)の公開前に訓練されたためで、計算量最適の条件では劣化域がずれます
- 繰り返したデータは元データのランダムな部分集合です。Wikipediaのような高品質データを意図的に繰り返す状況に、そのまま当てはまるとは限りません。ただし論文は、引き継がれる可能性はあるとも見ています
- 測ったのは損失で、下流タスクの評価ではありません。過学習が下流の性能悪化を意味するとは限らないと、論文は注記しています
- 劣化帯の当てはめはノイズを含み、複数の条件を集約して初めて整った傾向が出ました。べき乗則の係数は、この前提つきの値です
- 早期終了・ドロップアウト・重み減衰などの正則化の効果は調べていません
高品質データを重視すること自体を否定する研究ではありません。繰り返しの頻度と量が、特定の範囲に入ったときのリスクを測った研究です。
なぜコピー能力が大きく傷むのか
劣化は全体に均等には出ません。論文はハリー・ポッターの最初の段落を11回コピーさせる評価を作り、既出テキストをどれだけ正確に繰り返せるかを測りました。3%のデータを最悪の頻度で繰り返した場合、通常のテスト損失ではモデルサイズ1.15倍相当の縮小にとどまります。コピー評価では3倍相当の縮小になります。
二重降下のピークでは、同じ段落を何度連続で見せても損失が下がりません。正常なモデルでは、コピーの回数が増えるほど次の予測は楽になります。ピークのモデルでは、その効果が消えます。一般的な文脈内学習も傷みますが、コピーほどではありません。
induction headsへの損傷という機構的な説明
このコピー能力の劣化は、メカニズム解釈可能性(mechanistic interpretability)の観点から説明できます。着目するのは「induction heads」と呼ばれる、2つのアテンションヘッドの組み合わせで、系列をコピー・補完する構造です。注目すべきトークンへの参照(prefix matching)と、参照先のトークンのロジットを増やす処理に分けて定義されます。
損傷は選択的に出る場合がありました。論文はランダムなトークン列を繰り返し与え、prefix matchingスコアで構造の健全さを測っています。低い重複割合では、重複データがinduction headsを選択的に傷める場合があると示しました。図6の例では、3%の重複でprefix matchingスコアは2倍相当のモデルサイズ縮小に当たり、テスト損失は1.15倍相当にとどまります。冒頭の要約文は別の集計で、同じ条件の平均を32%の縮小と書いています。
さらに際立った例があります。1.5Mパラメータのモデルに50%の重複を入れると、段落レベルのコピーが完全に崩れ、総合性能は3万パラメータ相当まで落ちます。prefix matchingスコアだけを見ると、わずか2,000パラメータ相当まで崩れていました。
「Dursley」を予測できなくなるモデル
論文は、小さなモデルを使ってこの劣化を単語単位で見せています。1層・2層のアテンションのみのモデルを、重複なしで訓練した対照モデルと比べると、固有名詞のコピーで差が出ます。
1層モデルでは、段落の後半で3回出る「Potters」の「ters」を、対照モデルは97%を超える確率で当てました。重複データで訓練したモデルは4%に届きません。2層モデルでも、2回目の「Dursley」の「ley」に対する確率が、対照は92%、重複モデルは10%でした。「Dursleys」の末尾の「leys」は44%対4.9%、「unDursleyish」の「ley」は68%対0.4%です。
「unDursleyish」のように既出の名前をあいまいに引き写す箇所では、正解トークンに置いたオッズが、対照モデルのほうが重複モデルの約500倍という例もありました。induction headsを壊したときに現れると予想される劣化が、実際のテキストで目に見える形になっています。
ただし、2層モデルでは重複モデルのほうが固有名詞をうまく当てる箇所もあり、1層ほど一方的ではありません。論文は、暗記する圧力のせいで、skip-trigramを担うヘッドがinduction headを丸ごと置き換えたように見える、と書いています。
Pythonコードでも、微調整でも残る影響
二重降下と予測可能な劣化域は、自然言語だけでなくPythonコードを学習データにした場合でも出ます。曲線の形は自然言語と多少違いますが、モデルサイズと繰り返しエポック数に応じた劣化域は存在します。データの種類に依存しない、より一般的な学習ダイナミクスだと考えられます。
重複の影響は、学習した分野の外にも及びます。自然言語の重複データで訓練したモデルをPythonの損失で測ると、小さいながら不釣り合いな悪化が出ます。主に重複が50〜90%のときで、モデルサイズ換算の倍率は50%で0.84、90%で0.75です。
微調整(fine-tuning)にも爪痕が残ります。重複データで事前学習したモデルをPythonで微調整すると、重複のない事前学習から微調整したモデルより成績が悪くなります。最初から学習したモデルより悪くなることもあります。繰り返し部分への過学習は、微調整で急速に忘れられます。数十億トークンの微調整を重ねれば、成績は追いつきます。
大きな効果が出たのは極端な条件に限られます。事前学習の90%が二重降下のピーク付近の繰り返しで、有効サイズが73分の1まで落ちたモデルでも、微調整後の縮小は1.6倍でした。論文は、文・段落・類似文書など今回調べていない種類の重複が、事前学習済みモデルが最初から学習したモデルに劣る現象の説明になりうると考えています。
induction headsの損傷はスケーリング則の何を説明したのか
induction headsは、この論文より前にAnthropicの解釈可能性チームが定義した構造です。モデルの重みや活性化を直接調べて内部の計算過程を復元する、メカニズム解釈可能性という研究分野に属します。この論文は、スケーリング則という統計的な現象(モデルサイズと損失の関係)と、内部構造の観測を組み合わせました。「重複データは悪い」という経験則を確かめて終わりません。prefix matchingという測定量を通じて、悪影響がモデルのどの部分にどう現れるかを見えるようにしています。
論文はこれを、微視的な現象と巨視的な損失の傾向を結ぶ「橋」と呼びます。同じ種類の橋として、学習初期のinduction headsの形成と文脈内学習の向上の対応を挙げ、こうした橋はまだ珍しいと述べています。さらに、コピーの劣化とinduction headsの劣化が同時に起きた事実は、induction headsが文脈内学習の源だという説の追加の証拠になる、とも書いています。
この着眼点は本研究に固有ではありません。モデルが評価環境をどう認識しているかを調べたOpus 4.6のeval awareness研究や、モデル自身にアライメント上の欠陥を発見・修正させるAutomated Alignment Researchersも、同じ系列です。Claudeの内部の振る舞いを、仕組みのレベルで理解しようとする研究群にあたります。検索側の前処理で精度を上げる例としては、Contextual Retrievalも併せて読めます。
重複除去の精度が効くのは、どの範囲か
結論は「一般化から記憶への切り替わり」です。繰り返し学習の中盤で、モデルはそのデータを記憶し、容量の大きな部分を消費する領域が生まれます。その領域が劣化のピークと一致する、という仮説です。二重降下の谷とinduction headsの損傷は、この切り替わりが回路の一部を実際に壊す形を示しました。
実務での読み方は、条件の限定です。この仮説では、劣化が大きいのは暗記に回る容量が全体を圧迫する中間の頻度帯で、数回の重複や極端に少量の大量反復なら影響は小さくなります。重複除去の精度を上げる価値は、この帯に入るデータを減らす点にあります。論文が将来の方向として挙げているのは、計算量最適の条件でこの劣化域を測り直すことや、文・段落単位の重複など別の種類の繰り返しを入れた実験です。
まとめ
学習データのごく一部が特定の頻度で繰り返されると、暗記が容量を食い、モデル全体の性能が二重降下の形で落ちます。コピーやinduction headsが不釣り合いに大きく傷むため、通常の損失だけ見ていると被害を過小評価しやすい。ただし、この結果は固定トークン数・ランダムな部分集合・損失指標という条件で得られたものです。高品質データを意図的に重み付けする運用へそのまま持ち込めるかどうかは、別の検証が要ります。