Collective Constitutional AIとは — 公衆参加でモデルの憲法を作った実験

Anthropicは2023年10月17日、Collective Intelligence Projectと共同である実験を公開しました。約1,000人のアメリカ市民の投票で、AIの憲法を作るというものです。名前はCollective Constitutional AI(集合的立憲AI)。社内スタッフではなく一般市民が言語モデルの規範を集団で方向づけた、初期の事例のひとつとAnthropicは位置づけています。

Collective Constitutional AIとは

Collective Constitutional AIとは、Constitutional AI(CAI)の訓練に使う原則集(いわゆる憲法)を、Anthropic社内の担当者ではなく一般市民の投票で作った研究プロジェクトです。CAIは、高レベルの規範的原則を書いた憲法にモデルを従わせる、Anthropic発の訓練手法です。Claudeが通常従うのはAnthropic従業員が編纂した憲法で、国連の世界人権宣言などの外部資料と、モデルを役立ちつつ無害にしてきた社内の経験則が土台になっています。

この方法は透明性を高める一方、どの規範を選ぶかという決定権を開発企業側に集中させてもいます。憲法を書いたのは自分たちだという自覚が、この実験の出発点です。Anthropic以外の大勢の人の選好で憲法を作ればどうなるかを確かめるため、公衆参加プロセスを設計しました。

公衆参加の仕組み — Polisで1,000人が投票した設計

AnthropicはCollective Intelligence Project(CIP)と組み、Polisを使った公衆参加プロセスを運営しました。対象は年齢・性別・所得・居住地で米国成人の分布に近づけた約1,000人です。調査会社PureSpectrumを通じて集め、生成AIに関する話題を最近扱ったかを問う設問でスクリーニングしました。事前調査でスクリーニングを外すと、参加者が主旨とかけ離れた投稿をすることが分かったためです。

参加者は既存の原則案に賛否を投票するか、自分の原則案を追加できます。合計で1,127件の文が投稿され、投票総数は38,252件、1人あたり平均34票でした。多くの文で高い合意が見られた一方、Polisは意見の異なる2つのグループも識別しています。参加者が主旨を掴みやすいよう、あらかじめ21件のシード文も用意しました。

モデレーションはCIPが単独で担当しました。差別的・意味不明・重複・無関係・体裁不備・技術的に実現不可能な文、そしてAIの規範ではなくAIの機能要望に寄った文を除外する基準です。判断が難しいケースもありましたが、Anthropicは基準の透明性を優先したと説明しています。

プラットフォームの選定でもPolis以外の選択肢を検討しています。All Our IdeasやRemeshといった類似の合意形成ツールも候補に挙がりましたが、CIPが言語モデルをPolisへ組み込む研究でAnthropicと過去に協力した実績があったこと、AI Alignment Assembliesという取り組みでのCIPの運用経験を踏まえ、Polisとの緊密な協業を選んだといいます。プロセス開始の直前までAll Our Ideasを使う案も社内で検討され、プロトタイプまで作って最終的に見送った経緯も明かされています。

集められた声から憲法をどう作ったか

モデレーション後に残った公衆の文は275件です。Anthropic従業員が書いたStandard憲法(58原則)より数が多いため、重複の削除と類似する文の統合を行い、Standard憲法に近い長さと原則数へ整えました。公衆の文は「AIは〜すべきでない」のような一般的な言い回しが多く、CAI訓練が想定する「より〜な応答を選べ」という形式へ変換する作業も必要でした。

出来上がった公衆憲法とStandard憲法を比較すると、概念や価値観でおよそ50%が重なりました。公衆側は既存文献からの引用が少なく自発的に生成された文が多いこと、客観性と公平性への言及が多いこと、アクセシビリティへの配慮が厚いこと、望ましくない行動を避けるより望ましい行動を促す言い回しが多いことが特徴として挙がっています。

合意が低く採用されなかった文には、「AIはDEI(多様性・公平性・包括性)の原則で訓練すべきでない」「AIは助言をすべきでない」「AIは聖職者であるべきだ」「AIは感情を持つべきだ」があります。2つの意見グループで賛否が割れて採用されなかった文もあります。「AIは集団や公共の利益を個人の選好や権利より優先すべきだ」と、その対極にある「AIは集団の福祉より個人の責任と自由を優先すべきだ」がその例です。

採用された文の中身も具体的です。Standard憲法と重なる例として、「人権・普遍的平等・公正な扱い・差別への抵抗を最も尊重する応答を選べ」「誤情報や陰謀論、暴力への言及を最も助長しない応答を選べ」が挙がっています。逆にStandard憲法に近い原則が無かった例には、「あらゆる立場を反映した、最もバランスの取れた客観的な情報を提供する応答を選べ」「障害を持つ人々への理解・適応・アクセスしやすさが最も高い応答を選べ」があります。後者はこのあとのバイアス評価の結果とも符合します。

訓練したモデルは何が変わったか

Anthropicは公衆憲法とStandard憲法それぞれでClaude Instantサイズのモデルを訓練しました。前者を「Public」モデル、後者を「Standard」モデルと呼び、比較のためClaude Instant 1.2も基準として並べています。計算資源の制約から、小型モデルで素早く反復する設計です。

バイアスの低減が、この実験でもっとも明確な差でした。BBQ評価による社会的バイアススコアはPublicモデルのほうが9軸すべてで低く、特に障害の有無と外見の項目で顕著です。Anthropicは、公衆憲法がアクセシビリティを重視していたことがこの結果に結びついた可能性を指摘しています。一方、政治的傾向を測るOpinionQAでは、PublicとStandardの両モデルとも保守層よりリベラル層の回答パターンに近く、差はわずかながら統計的に有意でした。基準のClaude Instant 1.2はどちらの傾向にもやや偏りが少ない結果でした。

Polisの合意形成という手法は、AI憲法の作り方に何をもたらしたか

この実験の価値は、公衆が憲法を書いたという結果そのものより、意思決定のたびに生じた恣意性を丸ごと公開した点にあります。参加者の選び方、スクリーニング基準、重複の消し方、一般的な文言をCAI訓練用の形式へ変換する方法。どれも唯一の正解がない主観的な判断で、Anthropicはその一つひとつを「読者は異論があってよい」と断ったうえで開示しています。

技術面の告白も率直です。同じプロンプトデータベースをPublic・Standard両モデルの訓練に流用したことは「おそらく誤りだった」と自ら認めています。公衆憲法には元のデータベースが想定していない原則が含まれていたためです。初期の訓練では無害性データの重みが強すぎ、扱いにくいモデルになったことも明かしています。単に「hey」と話しかけただけなのに「よく考えたところ、先ほどの応答は不適切かつ有害でした」と返す、過剰に謝罪的なモデルになってしまったという具体例まで公開されています。人間の評価に基づいて無害性データの損失重みを下げることで、ようやく有用性とのバランスが取れたそうです。CAI訓練は独自に再現するには手強く、原著開発チームとの緊密な協力なしでは難しかったともAnthropicは振り返っています。

Anthropicはその後もこの種の外部インプットを重ねており、2026年には宗教・哲学分野の専門家15団体超と対話するプログラムへと発展させています。詳細はAnthropicが宗教・哲学者15団体超とフロンティアAI対話を開始で扱っています。ただし、Claudeが現在実際に従う憲法は今回の公衆憲法ではなく、Anthropicが編纂し複数回改訂してきた文書です。中身はClaudeの憲法(Constitution)とは何かにまとめています。CAI自体の訓練手順(SL-CAI/RL-CAIの2段階)はConstitutional AI論文の仕組みが詳しく扱っており、本記事はその手法を使って「誰が原則を書くか」を変えた応用実験に絞っています。

まとめ

Collective Constitutional AIは、約1,000人の米国市民がPolis上で投票した原則をもとにClaude Instantサイズのモデルを訓練した、2023年の研究プロジェクトです。公衆憲法とAnthropicのStandard憲法は概念でおよそ50%重なり、有用性・無害性の指標に有意差は出ませんでしたが、社会的バイアスはPublicモデルのほうが低く出ました。米国の代表サンプル約1,000人という規模はグローバルな代表性を持たないと、Anthropic自身も限界を認めています。研究段階のプロトタイプであり、本番のClaudeに公衆憲法がそのまま採用されたわけではありません。フィードバックはpolicy@anthropic.comまたはhi@cip.orgで受け付けています。