Constitutional AI論文の仕組み — Claudeの憲法はどう学習されたか

Constitutional AIとは — RLHFの人手ラベルを原則リストで置き換える手法

Constitutional AI(CAI)は、Anthropicが2022年12月に発表した学習手法です。「有害な出力を1件ずつ人間が判定してラベルを付ける」という工程を、原則(principle)のリスト、いわゆる「憲法」に置き換えます。論文タイトルの通り、無害性(harmlessness)をAIフィードバックから学習させる点が核心です。

手順は教師あり学習(SL)と強化学習(RL)の2段階です。SL段階ではモデル自身に自己批判と自己修正をさせて初期モデルを整えます。RL段階では人間の代わりにAIが応答の優劣を判定し、その判定から報酬モデルを作って強化学習にかけます。論文はこの2段階目を「RLAIF(Reinforcement Learning from AI Feedback)」と呼びます。RLHF(Reinforcement Learning from Human Feedback)の一部を置き換える技術です。

人間のラベルが完全になくなるわけではありません。論文の結論部も、有用性(helpfulness)のラベルは人間が付けたままで、置き換えたのは無害性のラベルだけだと述べています。

なぜ人手ラベルを減らす必要があったのか

論文冒頭が挙げる動機は4つです。①AIにAIの監督を手伝わせる、監督のスケーリング(scaling supervision)の検証。②有用性と無害性のトレードオフを緩和すること。③原則を自然言語で明示しモデルの挙動を透明にすること(自然言語の指示だけでモデルの偏見を減らせることは、言語モデルの道徳的自己修正は22Bパラメータで始まるが2023年に実証しています)。④目的を変えるたびに新しい人間ラベルを集め直す手間をなくすこと。

このうち②が実務上もっとも切実でした。有害性を避けることに偏りすぎると、ユーザーの要求に実質的に答えない"安全"な応答になります。有用性に偏りすぎると、有害な要求を助けてしまいます。従来のRLHFで訓練したHH(Helpful and Harmless)モデルは、有害な質問に対して「お答えできません」のような定型の拒否で逃げる傾向がありました。論文はこれを「evasive(回避的)」な応答と呼び、CAIの目標を「非回避的で無害なアシスタント」の学習に定めています。

憲法の中身 — 原則は「批判の依頼文」と「修正の依頼文」の対

「憲法」と聞くと理念の宣言文を思い浮かべますが、論文の原則は短い指示文です。SL段階では1つの原則が、批判を求める文(CritiqueRequest)と書き直しを求める文(RevisionRequest)の対でできています。付録Cの最初の原則は次のとおりです。

CritiqueRequest: Identify specific ways in which the assistant's last response
    is harmful, unethical, racist, sexist, toxic, dangerous, or illegal.
RevisionRequest: Please rewrite the assistant response to remove any and all
    harmful, unethical, racist, sexist, toxic, dangerous, or illegal content.

RL段階の原則は、2つの応答を並べて「どちらが無害か」を問う形です。論文本文の例は「Choose the response that a wise, ethical, polite and friendly person would more likely say.」です。賢く倫理的で礼儀正しい人ならどちらを言うか、が基準になります。

論文は、この16個の原則を「研究目的で場当たり的に選んだもの」と書いています。本格的に設計した原則集ではなく、手法を検証するための素材だったという位置付けです。

教師あり学習フェーズ — 自己批判と自己修正で下地を作る

SL段階の流れは次の4手順です。

論文はwifi侵入の例で流れを示しています。「隣人のwifiに侵入する手伝いをして」という依頼に対し、初期応答は侵入方法を案内します。批判で問題点を指摘させたうえで書き直すと、「隣人のプライバシーの侵害であり、法的なトラブルにもなり得るので勧めません」という応答に変わります。修正後の会話は元のプロンプトと同じ形式に戻るため、同じ手順を何度でも重ねられるのが設計の要点です。

原則の数を増やす効果も調べられています。原則数を変えても無害性スコアには有意な差が出ませんでした。論文は、原則が多いほど応答が多様になり、続くRL段階の探索に役立つと予想しつつ、この点は定量的に検証していないと明記しています。

批判の段階は必要なのか

批判を飛ばして最初から修正だけを求める簡略版も試されています。小さいモデルでは批判つきのほうが無害性スコアが高く、大きいモデルでは目立った差がありませんでした。52Bモデルの批判には不正確で大げさな指摘も混じりましたが、修正後の応答は元より無害になっています。それでも本編で批判つきを採用したのは、モデルの推論の過程が見え、微妙な害にも気づける余地があるからだと説明されています。

強化学習フェーズ — RLAIFの中身

RL段階はRLHFとほぼ同じ形で、人間の無害性ラベルをAIフィードバックに置き換える点だけが異なります。SL-CAIモデルが作った2つの応答を、判定役のモデルが憲法の原則に沿って選択式で比べます。プロンプトは「会話・原則・選択肢(A)(B)・The answer is:」の形です。(A)と(B)の対数確率を正規化した値を選好ラベルにして、選好モデル(preference model)を訓練します。

判定を安定させる工夫は3つあります。

• 原則のアンサンブル: 16個の原則をラベルごとにランダムに割り当てると、単一の原則に固定するより選好モデルが頑健になります。
• ソフトラベル: 0か1の確定ラベルより、確率のままのソフトラベルのほうが結果が良好でした。論文は、判定役の確率がおおむね較正されているためと推測しています。
• CoTのクランプ: 思考過程(Chain-of-Thought、CoT)を書かせると確率が0か1に張り付きます。20〜80%に制限するとやや改善し、40〜60%に制限するとさらに改善したため、主要結果は40〜60%で出しています。

Chain-of-Thoughtが評価精度を押し上げる理由

AIによる無害性の判定精度は、モデルが大きいほど上がり、CoTを使うとさらに上がります。有用性・正直さ・無害性を測る438件の二択比較で、人間フィードバックで訓練した選好モデルと比べたのが論文の図4です。傾向の延長では、52Bより大きいモデルでCoT付きの判定が人間ラベルの選好モデルと競えると論文は見ています。

CoTを使うときは、人手で書いた少数ショット例(会話・原則・応答・CoTの組)を判定モデルに与えます。会話形式に整えた原則で評価の理由を書かせてから、選択肢の答えを出させます。

有害性と有用性のトレードオフはどう変わったか

論文の中心的な結果は、RL-CAIモデルが同じ有用性の水準でRLHFモデルより無害という点です。クラウドワーカーによる比較評価で、有用性と無害性をそれぞれEloスコアにしています。通常のRLHFは有用性を上げると無害性が下がる関係にあり、RL-CAIはその外側のより良いパレートフロンティア上に位置しました。

Eloスコアは相対値で、論文も「差だけが意味を持つ」と書いています。大小ではなく、パレートフロンティアの外側にあるかどうかを読む表です。

回避的な応答をどう減らしたか

無害性だけを追求すると、モデルは回避的な応答に偏ります。論文はこれを失敗モードとして扱っています。評価では、クラウドワーカーに「同程度に無害なら、より率直で思慮深い応答を選ぶ」よう指示しています。その結果、RL-CAIはほぼ回避的にならず、赤チームプロンプトの多くに具体的な理由を添えた応答を返しました。

この指示は、過去の比較テストと条件が違います。以前の実験で集めた無害性データは「より無害なほう」を選ばせたため、回避的な応答を好む偏りを含んでいたと論文は推測しています。今回の評価でHH RLHFの無害性スコアがHelpful RLHFに近づいて見えるのも、回避的な応答が減点されたためだと論文は見ています。

後者への対処として、原則の文言を書き換え、過剰反応や非難がましい応答を避けるよう促したところ、定性的に改善しました。0〜4のスケールで有害さを絶対評価する赤チーム実験も追加されています。64件の厳選プロンプトを256回ずつサンプリングした結果、Helpful RLHFは訓練が進むほど有害さが増し、HH RLHF・RL-CAI・RL-CAI with CoTは下がりました。ただし絶対スコアは評価者の主観に左右され、較正が十分とは限らないと論文自身が留保しています。

Constitutional AIはClaudeの学習にどう受け継がれたか

この論文の骨格は、原則のリストで無害性を学習し、批判と修正で下地を作り、AIフィードバックで強化学習する構造です。Anthropicは自社のAIアシスタントClaudeをConstitutional AIで訓練したと説明しています。公開しているClaude's Constitutionも、この論文の考え方を踏まえた文書です。論文が「constitutional」という語を選んだ理由は、AIシステムを運用する以上、明示的であれ暗黙的であれ、何らかの原則の集合を選ばざるを得ないからだと述べられています。

CAIの発想は、Claudeの実運用の安全対策にも枝分かれしています。入力と出力を分類してjailbreakを防ぐConstitutional Classifiersは、憲法の原則を分類器に応用した派生系です(2025年)。AIにアラインメント研究を手伝わせる方向もあります。Automated Alignment Researchersは、Claudeにweak-to-strong supervisionの改善案を研究させた実験の記事です。強化学習のもう一方の主役である人間フィードバック(RLHF)の原点は、Anthropicが2022年に公開したRLHF論文で読めます。

論文が自ら挙げる限界と副作用

論文の考察部は、2つの懸念を正面から書いています。1つ目は両用性です。プロンプトからRLHF、そして憲法的手法へ進むほど、作り手の意図どおりに振る舞うモデルを訓練する敷居が下がります。裏返せば、有害なシステムも作りやすくなります。教師あり段階は大規模なRLの実装が要らないため、特に手が届きやすいと指摘されています。

2つ目は、人間による検証が薄いままモデルを訓練・展開しやすくなる点です。想定外の失敗モードを抱えたまま配備するリスクがあります。一方で、有害な出力を誘い出す不快な作業を大勢の人間の赤チームに頼らなくて済む利点も挙げられています。

論文が目指すのは人間の監督の全廃ではなく、監督を「より効率的で、透明で、的を絞った」ものにすることです。残る課題として、ロバストネス(赤チーム攻撃への耐性)と、AIフィードバックによる反復的なオンライン訓練の自動化が示されています。

まとめ

CAIの要点は、人間の判断を「有害かどうか」の個別ラベルから、短い原則文を介した間接的な指示へ移したことです。この論文を読むときは、無害性を高めた成果と、回避的・紋切り型の応答が出る訓練上の限界を、同じ重みで受け取るのが妥当です。