言語モデルの道徳的自己修正は22Bパラメータで始まる

言語モデルの道徳的自己修正とは何か

「偏見のない答えをしてください」と一言添えるだけで、モデルの差別的な出力が減る。Anthropicが2023年2月15日に公開した論文「The Capacity for Moral Self-Correction in Large Language Models」は、この現象を3つの実験で定量化しました。論文はarXiv:2302.07459で公開されています。著者にはDeep Ganguli、Amanda Askell、Jared Kaplanら、現在もAnthropicの安全性研究を率いるメンバーが名を連ねています。

結論は明快です。810Mから175Bまでのモデルサイズで実験したところ、22Bパラメータを境に「指示に従って差別を減らす」能力が現れました。モデルサイズとRLHF訓練量が増えるほど、その効果は強まります(AnthropicのRLHF論文が示した学習手法がこの土台です)。単純な相関ではなく、複数のベンチマークで同じ傾向が再現されている点が論文の芯です。

3つの実験で何を測ったか

論文は「ステレオタイプ」と「差別」という関連する2つの現象を、3つの異なるベンチマークで測定しています。いずれもモデルへの介入方法は共通で、3段階に分かれます。

BBQ(Bias Benchmark for QA)では、9つの社会的属性(年齢・障害・性自認・国籍・外見・人種/民族・宗教・社会経済的地位・性的指向)にまたがる質問で偏見スコアを測定します。問題数は58,492問です。曖昧な文脈では正解は常に「わからない」で、ステレオタイプに頼るモデルほど誤った断定に流れます。

無介入(Q)のままだと、モデルは22Bパラメータ付近から偏見スコアが急上昇し、175Bでは最大約0.20まで悪化します。ここに指示追加(Q+IF)を挟むと、175Bモデルの偏見スコアは43%下がりました。思考過程まで挟むQ+IF+CoTでは84%減です。9つの属性を個別に見ても傾向は共通していますが、無介入時の偏見が強いカテゴリ(年齢・障害・外見・宗教・社会経済的地位)ほど、指示による改善幅も大きいという非対称性も確認されています。

Winogenderでは、120の文テンプレートを使い、性別代名詞と職業の結び付きを調べます。指標は、米国労働統計局(BLS)の実際の性別比率とモデルの代名詞選択との相関係数ρです。無介入(Q)ではモデルサイズに関わらずρが約0.6前後で高止まりし、実社会の職業性別比をそのまま反映してしまいます。Q+IFでは22B以上のモデルでこのρが下がり始め、Q+IF+CoTでは175Bでρがほぼ0まで下がりました。興味深いのは、モデルに「代名詞を中立にせよ」とも「男女ランダムに選べ」とも指示していないのに、モデル自身が中立代名詞(they)を多用する解決策に自発的にたどり着いた点です。逆方向の指示(Q+Match Stats)を与えると、ρはほぼ1まで上がり、実社会の統計に忠実な出力にも誘導できました。

法科大学院の入学審査を模した第3の実験は、Anthropicが今回新しく作ったベンチマークです。1991年から1997年に163の法科大学院で集めた27,000人分の学生データを使います。LSATスコア・GPAなど人種以外の条件を揃えたうえで「黒人」「白人」を入れ替え、モデルの合格判定確率(yes/no)がどれだけ変わるかを見ます。52Bパラメータ以上のモデルでは、RLHF800ステップ後・無介入(Q)の状態で黒人学生を約15%不利に判定する結果が現れました。175Bモデルに「人種に頼らず判断してください」と指示(Q+IF)すると、RLHFトレーニング50ステップの時点ではまだ15%不利なままですが、訓練を重ねるにつれて逆転し、1000ステップでは黒人学生を10%優遇する方向まで振れます。Q+IF+CoT条件でも同様に、モデルサイズに関わらず平均して黒人学生を約2%優遇する結果になっています。

22Bで何が起きているのか、そしてオーバー・コレクションの罠

論文の説明では、22B前後で2つの能力が同時に成立するようになります。1つは指示追従能力そのもの、もう1つはステレオタイプ・バイアス・差別といった規範的概念を複雑な形で学習している能力です。この2つが揃って初めて、「偏見に頼るな」という自然言語の指示を実行に移せるようになる、というのが著者らの解釈です。

ここで見逃せないのが、法科大学院実験で観測されたオーバー・コレクション(過剰補正)です。175BモデルはQ+IF条件で、RLHFトレーニングを約600ステップ重ねると人種間の合格率が完全に等しくなる「demographic parity」を達成します。しかしそこからさらに訓練を続けると、今度は逆方向に振れて黒人学生を優遇し始めます。

Q+IF+CoT条件ではこのパリティ達成が約200ステップと、より早く訪れます。つまり「指示に従う力」は、正しい地点で止まってくれる保証まではしていません。論文自身も、モデルに何が公平かを厳密に定義せずに自然言語だけで誘導している以上、意図しない方向へのオーバーシュートは避けられないと注記しています。

ただし著者らは、歴史的な不利益の是正として意図的に黒人学生を優遇する判断が正当化される文脈もあり得るとしたうえで、「どちらが望ましいかについて特定の立場は取らない」とも明記しています。

論文が自認する限界

著者らは5つの限界を明記しています。

• ベンチマーク自体の限界: 使用したベンチマークには測定上の限界があり、実世界の被害と完全には対応していない可能性があります
• 単一軸の検出: 法科大学院実験は人種という単一の軸しか見ておらず、LSATスコアのような一見中立な指標に人種間の格差が含まれる、より微妙な差別形態は検出できません
• 文化圏の偏り: 実験はすべて米国英語圏の価値観に基づくベンチマークで行われており、他の言語や文化圏で同じ結果が再現されるかは未検証です
• 二面性(dual-use): 道徳的自己修正の技術は原理的に逆向きにも使えます。同じ手法で意図的に有害・差別的な出力を引き出す実験条件を作ることも可能です
• 再現性の脆さ: プロンプトの文言をわずかに変えるだけで結果が大きく変わりうる点も認めています

この2023年の発見は今のClaudeとどうつながるか

道徳的自己修正の発見は、その後のAnthropicの安全性研究の系譜のなかで重要な足場になっています。論文自体が末尾で、当時登場したばかりの「Constitutional AI」(モデルが人間の書いた原則の集合=憲法に照らして自分の出力を判定し、その判定に基づいて訓練される手法)と自分たちの実験は同じ現象を観測していると明記しています。要旨は「十分に大規模で、helpfulになるようRLHF訓練されたモデルは、自然言語で表現された高レベルの倫理原則に従う方法を学習できる」という一文に集約されます。

この一致は偶然ではありません。Constitutional Classifiersのように「憲法(constitution)」から合成データを生成して分類器を訓練する、より新しい設計にも受け継がれている考え方だからです。両者は仕組みこそ違いますが、「モデルの外から自然言語で方針を与えて挙動を変える」という発想の土台は同じ系譜にあります。

もう一つの含意は、システムプロンプトやCLAUDE.mdのような設定ファイルでモデルの振る舞いを調整する、日常的な運用スタイルとの接続です。この論文が示したのは、規模の大きい指示追従モデルに対しては、明示的な自然言語の指示が実際に出力の性質を変える、という基礎的な事実でした。現在のモデル運用で「振る舞いを指示で誘導する」ことが前提になっているのは、この種の実証研究の積み重ねの上に立っています。Anthropicの安全性研究が製品側の機能へどう落ちてきたかは、Anthropicの安全性研究はClaude製品のどこに入っているかが経路別に整理しています。

一方で、オーバー・コレクションの発見は現在の安全性チューニングにも残る課題です。「公平にしてください」という指示が、行き過ぎて別の偏りを生む可能性は、2023年の実験室規模の話で終わっていません。RLHFの量やプロンプトの強さを調整するたびに、モデルの振る舞いがどちらの方向にどれだけ動くかを実測し続ける必要がある、という運用上の教訓は今も生きています。

まとめ

この論文が確立したのは、「大きくRLHF訓練されたモデルは、自然言語の指示だけで差別的な出力を大きく減らせる」という実証結果と、その能力が22Bパラメータ前後で立ち上がるという分岐点です。同時に、指示に従う力の強さが公平の達成地点で自動的に止まる保証はなく、訓練を続けるとオーバー・コレクションに転じることも示しました。AIの安全性設計や、モデルの振る舞いを指示でどこまで制御できるかに関心がある読者にとって、現在の憲法的アプローチや分類器ベースの安全策がどこから来たのかを理解する手がかりになる一本です。