Constitutional AI論文の仕組み — Claudeの憲法はどう学習されたか

Constitutional AIとは — RLHFの人手ラベルを原則リストで置き換える手法

Constitutional AI(CAI)は、Anthropicが2022年12月に発表した学習手法です。「有害な出力を1件ずつ人間が判定してラベルを付ける」という工程を、原則(principle)のリスト、いわゆる「憲法」1つに置き換えます。論文タイトルの通り、無害性(harmlessness)をAIフィードバックから学習させる点が核心です。

手順は教師あり学習(SL)と強化学習(RL)の2段階です。SL段階ではモデル自身に自己批判と自己修正をさせて初期モデルを整え、RL段階では人間の代わりにAIが応答の優劣を判定し、その判定から報酬モデルを作って強化学習にかけます。論文はこの2段階目を「RLAIF(Reinforcement Learning from AI Feedback)」と呼びます。RLHF(Reinforcement Learning from Human Feedback)の一部を置き換える技術として位置付けています。

なぜ人手ラベルを減らす必要があったのか

Anthropicが挙げる動機は4つです。①AIにAIの監督を手伝わせる、監督のスケーリング(scaling supervision)の検証。②有用性と無害性のトレードオフを緩和すること。③原則を自然言語で明示しモデルの挙動を透明にすること(自然言語の指示だけでモデルの偏見を減らせることは、言語モデルの道徳的自己修正は22Bパラメータで始まるが2023年に実証しています)。④目的を変えるたびに新しい人間ラベルを集め直す手間をなくすこと。

このうち②が実務上もっとも切実でした。論文は「有害性を避けることに偏りすぎると、ユーザーの要求に実質的に答えない"安全"な応答になり、有用性に偏りすぎると有害な要求を助けてしまう」と説明しています。従来のRLHFで訓練したHH(Helpful and Harmless)モデルは、有害な質問に対して要領を得ない拒否や、定型的な回避で逃げる傾向がありました。Anthropicはこれを「evasive(回避的)」な応答と呼び、CAIの目標を「非回避的で無害なアシスタント」の学習に定めています。

教師あり学習フェーズ — 自己批判と自己修正で下地を作る

SL段階の流れは次の通りです。まず有用性だけを学習したRLHFモデルに、有害な応答を引き出しやすいプロンプト(赤チーム由来のプロンプト)を与えて初期応答をサンプルします。次に、憲法からランダムに選んだ原則に沿ってモデル自身に応答を批判させ、その批判を踏まえて応答を書き直させます。この批判と修正は連続して繰り返せるため、1つの応答に対して複数回の修正パスを重ねられます。

論文は16種類の原則を作成しました。赤チームプロンプトは182,831件(人間が書いた42,496件と、事前学習モデルに少数ショットで生成させた140,335件の合計)で、1件あたり4回の批判・修正ペアをサンプルしたと報告しています。有用性データは135,296件の人間作成プロンプトのみを使い、モデル生成は含めていません。最終的に得られた修正済み応答で事前学習済み言語モデルをファインチューニングし、このSL-CAIモデルをRL段階の初期モデルにします。

原則の数を増やす効果についても検証されています。原則数を増やしても無害性スコア自体は向上しませんでしたが、修正応答の多様性は増し、続くRL段階での探索(exploration)を助けます。

強化学習フェーズ — RLAIFの中身

RL段階はRLHFとほぼ同じ形をしていますが、人間の無害性ラベルをAIフィードバックに置き換える点だけが異なります。SL-CAIモデルからサンプルした2つの応答を、AI自身が憲法の原則に沿って比較評価し、その評価から選好モデル(preference model)を訓練します。この選好モデルのスコアを報酬としてRL方策を最適化する流れは、通常のRLHFのPreference Modeling → RLという構造をそのまま踏襲しています。

判定を安定させるための工夫も具体的です。16種類の原則をランダムに割り当てて評価をアンサンブルすることで、単一の原則だけを使うより選好モデルが頑健になりました。またソフトラベル(正規化した対数確率)を使うほうがハードラベル(0か1)より良い結果を得られました。Chain-of-Thought(CoT)を使う場合は確率が0か1に極端に偏りやすいため、40〜60%の範囲にクランプする処理が有効でした。

Chain-of-Thoughtが評価精度を押し上げる理由

論文は、AIによる無害性の判定精度がモデルの能力に比例して向上し、CoT推論を使うとさらに改善すると報告しています。438件の二択比較質問(有用性・正直さ・無害性を測る評価セット)では、CoT付きの言語モデルによる判定が人間フィードバックで訓練した選好モデルに匹敵する水準に近づいています。52Bより大きいモデルでは、人間ラベルの選好モデルと競合できる可能性が示唆されています。

CoTを使う際は、人手で書いた少数ショット例(会話・原則・応答・CoTの組)を判定モデルに与えます。会話的な形式に整形した原則を使って評価理由を明示的に書かせてから、多肢選択の答えを出させる形を取っています。

有害性と有用性のトレードオフはどう変わったか

論文の中心的な結果は、RL-CAIモデルが同じ有用性の水準でRLHFモデルより無害という点です。クラウドワーカーによる比較評価では、有用性と無害性の両方をEloスコア化して比較しています。通常のRLHF(HelpfulモデルとHHモデル)は有用性を上げると無害性が下がるトレードオフを示す一方、RL-CAIはそのトレードオフの外側、つまりより良いパレートフロンティア上に位置しました。

この表が示す傾向は、絶対的なEloスコアの大小ではなく相対的な位置関係(パレートフロンティアの外側にあるかどうか)である点に注意が必要です。論文自身も「差だけが意味を持つ」と明記しています。

回避的な応答をどう減らしたか

無害性だけを追求すると、モデルは「お答えできません」のような定型文で逃げる回避的な応答に偏りがちです。論文はこれを明確な失敗モードとして扱っています。無害ではあっても、判断の過程を説明しない応答は透明性を欠き、実務上も有用性と両立しにくいためです。評価にあたっては、クラウドワーカーに「同程度に無害なら、より率直で思慮深い応答を選ぶ」よう指示しています。RL-CAIはほぼ回避的にならず、赤チームプロンプトの多くに対して具体的な理由を添えて拒否する、ニュアンスのある応答を返せています。

一方で、逆方向の失敗モードもあります。有害な問いへの応答が過剰に説教くさくなったり、「あなたは大切な存在です」のような定型的な励ましを毎回挟んだりする傾向です。Anthropicはこれに対し、原則の文言を書き換えて過剰反応や非難がましい応答を避けるよう調整したところ、定性的な改善が見られました。0〜4のスケールで有害さを絶対評価する追加の赤チーム実験(64件の厳選プロンプトを256回ずつサンプリング)も行われています。この実験でも、HelpfulなRLHFモデルは訓練が進むほど有害さが増す一方、HH RLHF・RL-CAI・RL-CAI with CoTは訓練が進むほど有害さが下がる傾向でした。ただしこの絶対スコアは評価者ごとの主観のばらつきが大きく、論文自身も較正の精度には留保を付けています。

Constitutional AIはClaudeの学習にどう受け継がれたか

この論文が示した骨格 — 原則のリストで無害性を学習し、批判と修正で下地を作り、AIフィードバックで強化学習する構造 — は、後年「Claude's Constitution」として公開される憲法ドキュメントの技術的な土台になっています。論文自体は「constitutional」という語を選んだ理由を、「AIシステムを運用する以上、明示的であれ暗黙的であれ、何らかの原則の集合を選ばざるを得ない」からだと述べています。原則を隠さず自然言語で書き出すという設計思想は、今日まで一貫しています。

CAIの発想はその後、Claudeの実運用における安全対策にも枝分かれしています。プロンプト自体を分類してjailbreakを防ぐConstitutional Classifiersは、憲法の原則を入出力の分類器に応用した派生系です(2025年)。

原則ベースの自己改善という考え方も広がっています。Claudeにアライメント上の欠陥を自律的に修正させるAutomated Alignment Researchersの取り組みへとつながっています。強化学習のもう一方の主役、人間フィードバック(RLHF)そのものの原点はAnthropicが2022年に公開したRLHF論文で読めます。

まとめ

Constitutional AIは、人間が有害性を1件ずつラベル付けする代わりに、原則のリスト(憲法)とAIフィードバックだけでアシスタントを無害化する手法として2022年に提案されました。教師あり学習での自己批判・自己修正と、強化学習でのAI評価(RLAIF)を組み合わせることで、同じ有用性の水準でも従来のRLHFより無害で、かつ回避的でない応答を学習できたと報告されています。この骨格は、Claudeの憲法や関連する安全対策の技術的な出発点として今も参照される基礎研究です。