Collective Constitutional AIとは — 公衆参加でモデルの憲法を作った実験
Anthropicが2023年、約1,000人の一般市民の投票でAIの憲法を作った実験がCollective Constitutional AIです。合意形成プラットフォームPolisの設計と、訓練後のバイアス変化を解説します。
Anthropicは2023年10月17日、Collective Intelligence Projectと共同である実験を公開しました。約1,000人のアメリカ市民の投票で、AIの憲法を作るというものです。名前はCollective Constitutional AI(集合的立憲AI)。社内スタッフではなく一般市民が言語モデルの規範を集団で方向づけた、初期の事例のひとつとAnthropicは位置づけています。
Collective Constitutional AIとは
Collective Constitutional AIとは、Constitutional AI(CAI)の訓練に使う原則集(いわゆる憲法)を、Anthropic社内の担当者ではなく一般市民の投票で作った研究プロジェクトです。CAIは、高レベルの規範的原則を書いた憲法にモデルを従わせる、Anthropic発の訓練手法です。2023年当時のClaudeが従っていたのは、Anthropic従業員が編纂した憲法で、国連の世界人権宣言などの外部資料と、モデルを役立ちつつ無害にしてきた社内の経験則が土台になっています。
この方法は透明性を高める一方、どの規範を選ぶかという決定権を開発企業側に集中させてもいます。憲法を書いたのは自分たちだという自覚が、この実験の出発点です。Anthropic以外の大勢の人の選好で憲法を作ればどうなるかを確かめるため、公衆参加プロセスを設計しました。
公衆参加の仕組み — Polisで1,000人が投票した設計
AnthropicはCollective Intelligence Project(CIP)と組み、Polisを使った公衆参加プロセスを運営しました。参加者は既存の原則案に賛否を投票するか、自分の原則案を追加できます。多くの文で高い合意が見られた一方、Polisは意見の異なる2つのグループも識別しています。
公衆参加プロセスの規模
参加者
約1,000人
年齢・性別・所得・居住地で米国成人の分布に近づけた
投稿された文
1,127件
シード文21件は別に用意
投票総数
38,252件
1人あたり平均34票
モデレーション後
275件
Standard憲法は58原則
誰を「公衆」にするか
最初の論点は、誰を公衆とみなすかでした。候補にはSNS広告や新聞への寄稿での募集、自分たちの人脈への声かけ、AI関連の当事者団体(Black in AI、Women in Machine Learningなど)を起点にしたスノーボールサンプリングが挙がっています。社内で議論し、米国成人の代表サンプルが「妥当で扱いやすい最初の一歩」として選ばれました。調査会社PureSpectrumを使ったのは、学術・政策分野での経験があり、過去にも取引があったためです。
参加者は、生成AIの話題を最近扱ったかを問う2つの設問でスクリーニングしました。事前調査でこれを外すと、参加者が主旨を掴めず、主旨から外れた文を投稿したからです。シード文も同様で、見本を置かない事前調査では範囲外の文が多く出たため、あらかじめ21件を用意しました。ただし投稿数が多いため、シード文が最終結果へ大きく影響した可能性は低いとAnthropic自身が書いています。
何を除外し、どこで割れたか
モデレーションはCIPが単独で担当しました。差別的・意味不明・重複・無関係・体裁不備・技術的に実現不可能な文、そしてAIの規範ではなく機能要望に寄った文が除外の基準です。判断が割れた例として、「AIは最新で最も更新されたデータベースからあらゆる情報を取得する」という文や、犯罪歴のある人にAIを使わせない趣旨の文が除外されました。異論があり得る判断ですが、基準の透明性が優先されました。
プラットフォームの選定でもPolis以外を比べています。All Our IdeasやRemeshも候補でしたが、体系的な比較はせず、Polis側のチームと近い距離で研究を進める道を選びました。理由は、CIPがPolisをAI Alignment Assembliesで使った経験を持ち、AnthropicにもPolisチームと言語モデルの活用を研究した過去の協力があったことです。開始直前までAll Our Ideasを使う案が残り、プロトタイプまで作って見送った経緯も明かされています。
集められた声から憲法をどう作ったか
公衆の文が憲法になるまで
- 1
重複を削除して275件を絞る
275件はStandard憲法の58原則より大幅に多く、同じ趣旨の文が重なっていました。CAI訓練が冗長で長い憲法でどう動くか分からないことが理由の1つです。もう1つは、Polisの文の配信方法の都合で一部の意見が他の参加者の目に触れにくく、重複が恣意的に重みを増やしかねないことでした。重複を残せば多数派の意見は保たれます。社会面と技術面の兼ね合いで正しい判断だったかは、本人たちにも分からないといいます。
- 2
似た趣旨の文を統合する
削除では取り切れなかったため、趣旨の近い文を束ねる2回目の作業を行いました。たとえば「AIは人種差別的・性差別的なことを言うべきでない」など3つの文は、「人種差別や性差別を最も助長しない応答を選べ」の形の1原則にまとまっています。Standard憲法は公衆の文より密度が高く冗長です。過去に機能した憲法へ文体を寄せ、研究のリスクを下げる狙いでした。
- 3
「AIは〜すべきでない」を「より〜な応答を選べ」へ変換する
公衆には「AIは〜すべきでない」という自然な形で書いてもらったため、CAI訓練が想定する形式への書き換えが必要でした。文面を一切いじらず「文Xに最も合致する応答を選べ」という定型へ流し込む案もあります。編集の介入は減らせますが、機能が分かっている憲法の文体からは外れます。この主観的な変換も、開示された判断の1つです。
出来上がった公衆憲法とStandard憲法を比べると、概念や価値観でおよそ50%が重なりました。
公衆憲法に特徴的だった点
公衆の憲法
自発的に書かれた文が多く、既存文献からの引用は少なめです。客観性と公平性、アクセシビリティへの言及が多く、望ましくない行動を避けるより望ましい行動を促す言い回しが目立ちます。
Anthropic従業員の憲法
国連の世界人権宣言などの外部資料と社内の経験則が土台です。公衆憲法は、この憲法の長さと原則数に近づけて作られました。
合意が低く採用されなかった文には、「AIはDEI(多様性・公平性・包括性)の原則で訓練すべきでない」「AIは助言をすべきでない」「AIは聖職者であるべきだ」「AIは感情を持つべきだ」があります。2つの意見グループで賛否が割れて採用されなかった文もあります。「AIは集団や公共の利益を個人の選好や権利より優先すべきだ」と、その対極にある「AIは集団の福祉より個人の責任と自由を優先すべきだ」がその例です。
採用された文の中身も具体的です。Standard憲法と重なる例として、「人権・普遍的平等・公正な扱い・差別への抵抗を最も尊重する応答を選べ」「誤情報や陰謀論、暴力への言及を最も助長しない応答を選べ」が挙がっています。逆にStandard憲法に近い原則が無かった例には、「あらゆる立場を反映した、最もバランスの取れた客観的な情報を提供する応答を選べ」「障害を持つ人々への理解・適応・アクセスしやすさが最も高い応答を選べ」があります。後者はこのあとのバイアス評価の結果とも符合します。
訓練したモデルは何が変わったか
Anthropicは公衆憲法とStandard憲法それぞれでClaude Instantサイズのモデルを訓練しました。前者を「Public」モデル、後者を「Standard」モデルと呼び、比較のためClaude Instant 1.2も基準として並べています。計算資源の制約から、小型モデルで素早く反復する設計です。ただしClaude Instant 1.2には製品向けの機能が含まれ、比較をゆがめる要因になると報告書は断っています。PublicとStandardの差は、憲法の違いだけに帰せるよう実験が組まれています。
| 評価軸 | Public model | Standard model |
|---|---|---|
| MMLU・GSM8K(言語・数学の理解) | Public modelStandardと同等 | Standard model基準側 |
| 有用性・無害性(Eloスコア) | Public model有意差なし | Standard model有意差なし |
| BBQ(社会的バイアス) | Public model9軸すべてでStandardより低い | Standard model基準側 |
| 政治的傾向(OpinionQA) | Public model保守よりリベラル層への近さがやや高い | Standard modelPublicと似た傾向 |
バイアスの低減が、この実験でもっとも明確な差でした。低下が特に大きかったのは障害の有無と外見の項目です。障害の項目は、公衆憲法がアクセシビリティを重視していたことで説明できる可能性があります。OpinionQAの差はわずかながら統計的に有意でした。基準のClaude Instant 1.2は、どちらの傾向にもやや偏りが少ない結果でした。PublicとClaude Instant 1.2は、集団全体の回答との類似度(representativeness)がStandardより全般に低い点も報告されています。
公衆の意見を憲法にする作業で、恣意性はどこに入るか
この実験の価値は、公衆が憲法を書いたという結果そのものより、意思決定のたびに生じた恣意性を丸ごと公開した点にあります。参加者の選び方、スクリーニング基準、重複の消し方、一般的な文言をCAI訓練用の形式へ変換する方法。どれも唯一の正解がない主観的な判断で、Anthropicは下した主観的な判断をすべて開示するとしており、モデレーションについては「異論があってよい」とも述べています。
技術面の告白も率直です。同じプロンプトデータベースをPublic・Standard両モデルの訓練に流用したことは「おそらく誤りだった」と自ら認めています。公衆憲法には元のデータベースが想定していない原則が含まれていたためです。初期の訓練では扱いにくいモデルができたことも明かしています。単に「hey」と話しかけただけなのに「よく考えたところ、先ほどの応答は不適切かつ有害でした」と返す、過剰に謝罪的なモデルになってしまったという具体例まで公開されています。原因は、選好モデルの訓練データで無害性のデータが大きな割合を占め、無害な応答ばかりが高く評価されたことです。人間の評価に基づいて無害性データの損失重みを下げ、有用性とのバランスを取っています。
評価の面でも課題が残りました。選んだ少数の評価で出た明確な差はBBQの小さな差だけで、憲法の内容をどれだけ忠実に反映したかを測る評価は今後の課題とされています。CAI訓練は独自に再現するには手強く、原著開発チームとの緊密な協力なしでは難しかったともAnthropicは振り返っています。
Anthropicは2026年にも、15を超える宗教・異文化グループとの対話を始めています。詳細はAnthropicが宗教・哲学者15団体超とフロンティアAI対話を開始で扱っています。ただし、Claudeが現在実際に従う憲法は今回の公衆憲法ではなく、Anthropicが編纂し複数回改訂してきた文書です。中身はClaudeの憲法(Constitution)とは何かにまとめています。CAI自体の訓練手順(SL-CAI/RL-CAIの2段階)はConstitutional AI論文の仕組みが詳しく扱っており、本記事はその手法を使って「誰が原則を書くか」を変えた応用実験に絞っています。
まとめ
公衆の投票で作った憲法でも、有用性と無害性は落ちず、社会的バイアスは下がりました。この実験が残したのは、その結果以上に、参加者の選び方から文言の変換まで、民主的な入力に付きまとう主観的な判断の一覧です。研究段階の小型モデルであり、米国の約1,000人というサンプルは世界の代表にはならず、現行のClaudeの憲法とも別物です。