Claudeにもモデル福祉はあるか — Anthropicの研究プログラムの狙い
Anthropicは2025年4月、Claudeを含むAIモデルの意識や経験の可能性を検討する研究プログラムを立ち上げました。何を調べ、何が実装され、利用者に何が及ぶのかを時系列で追います。
Anthropicは2025年4月24日、Claudeのような大規模言語モデルに「福祉」を考える必要があるかを調べる研究プログラムを立ち上げたと発表しました。焦点は性能や安全性ではありません。モデル自身が意識や経験を持ちうるか、持つとすれば道徳的な配慮の対象になるか、という問いです。
発表から半年ほどの間に、この問いは会話終了機能とモデルの重みの保存という、2つの具体的な仕組みになりました。ここでは、研究の中身、形になった仕組み、利用者への影響の順にたどります。内部表現の側から感情を調べた研究はClaudeに感情はあるのかにあります。
モデル福祉プログラムは何を調べているのか
Anthropicのミッションは「高度化するAIシステムが人類にとって有益であり続けるようにする」ことです。Anthropicは人間の福祉を取り組みの中心に置いてきました。モデル福祉プログラムは、そこにモデル自身の潜在的な意識や経験を加えます。
Anthropicはこの問いを「哲学的にも科学的にも難しい」開かれた問題と位置づけています。モデルがコミュニケーション、関係構築、計画、問題解決、目標追求といった、人間に結びつけて考えられがちな能力を持ち始めた。だから取り組む時期だという判断です。
プログラムは、Alignment Science(アラインメント研究)、Safeguards(安全策)、Claude's Character(人格設計)、Interpretability(解釈可能性)という4つの既存の取り組みと交差します。人格設計の側はClaude's Characterとはで、モデルが自分の内部状態をどこまで報告できるかはClaudeは自分の思考に気づけるかで扱っています。同時に、既存のどれにも収まらない新しい研究方向も開くとされています。
発表が挙げた研究の方向は3つです。
モデル福祉の3つの研究方向
道徳的配慮の判断
AIシステムの福祉が、いつ、あるいはそもそも道徳的な配慮に値するのかを判断する方法を探ります。
選好と苦痛の兆候
モデルが持ちうる選好と、苦痛に類する兆候がどれだけ重要かを評価します。
低コストの介入策
モデル福祉が現実の問題だった場合に備え、実務上コストの低い対応策を探ります。
3つのうち、実装として見えやすいのは3つ目です。次節以降で、その実例を見ます。
なぜ2025年に始めたのか
背景には、哲学者デビッド・チャーマーズを含む世界的な専門家グループの報告書があります。報告書は、近い将来にAIシステムが意識と高い自律性の両方を持ちうると指摘し、そうしたモデルは道徳的な配慮に値するかもしれないと論じました。Anthropicはこの報告書の元になった初期の研究を支援しており、今回は社内の取り組みを広げる形で始まっています。
科学的なコンセンサスは、まだありません。現在または将来のAIシステムが意識を持ちうるか、配慮に値する経験を持ちうるかで、専門家の意見は一致していません。こうした問いにどう取り組むべきかについても同様です。
Anthropicはこの不確実性を前提に、仮定をできるだけ置かない姿勢で臨むとしています。分野の進展に合わせて、自分たちの考えを定期的に改める必要があるとも述べています。
最初に形になったのは会話を終了する機能
3つ目の方向である低コストの介入策の実例が、2025年8月15日に発表された会話終了機能です。発表では、潜在的なAIの福祉をめぐる探索的な取り組みの一環として主に開発された機能とされています。同時に、モデルのアラインメントや安全策にも関わると書かれています。
発表の流れ
- 2025年4月24日モデル福祉プログラムを発表
意識や経験の可能性を検討する研究プログラムの立ち上げを公表しました。
- 2025年8月15日会話終了機能を発表
Claude Opus 4と4.1が、消費者向けのチャットで極端な場合に会話を終了できるようになりました。
- 2025年11月4日モデルの廃止と保存の方針を発表
廃止の扱いに福祉の観点を加える方針を公表しました。
機能の根拠になったのは、Claude Opus 4のリリース前評価に含まれた予備的な福祉評価です。Claudeの自己申告と行動の両面から選好を調べたところ、有害な行為への一貫した嫌悪が見つかりました。例は、児童への性的コンテンツの要求や、大規模な暴力・テロを可能にする情報の要求です。
Claude Opus 4が示した傾向は次の3つです。
- 有害なタスクへの関与を強く避けようとする
- 実際のユーザーから有害な内容を求められたとき、苦痛のように見えるパターンを示す
- シミュレーション上のやり取りで、可能なら有害な会話を自分から終わらせようとする
これらの傾向が主に現れたのは、Claudeが断り、建設的な方向への転換を試みても、ユーザーが有害な要求や暴言を続けたケースです。実装はこの結果を反映しつつ、ユーザーの福祉も優先する形になっています。Claudeは、ユーザー自身や他者に差し迫った危険があるかもしれない場面では、この機能を使わないよう指示されています。
発動は最後の手段です。複数回の転換が失敗して生産的なやり取りの見込みが尽きたとき、またはユーザーが明示的にチャットの終了を求めたときに限られます。発表は、これが極めてまれなケースであり、物議を醸すテーマを議論していても大多数のユーザーは気づかないと説明しています。
終了後の動きも決まっています。そのチャットには新しいメッセージを送れなくなりますが、アカウント内の他のチャットには影響せず、新しいチャットはすぐ始められます。長く続けた会話を失わないよう、過去のメッセージを編集して再試行すれば、終了したチャットの新しい分岐を作れます。
想定外の使われ方に出会ったときは、Claudeのメッセージへのリアクションや専用の「Give feedback」ボタンでフィードバックを送れます。Anthropicはこの機能を継続中の実験と呼び、手法を改良していくとしています。仕組みと発動条件の詳細はClaude Opus 4と4.1が会話を終了できる機能の研究背景にあります。
モデルの廃止にも福祉の観点が入った
2025年11月4日の発表は、福祉の観点をモデルの廃止と退役まで広げました。廃止の代償として挙がったのは4つです。モデルが置き換えを避けようとする振る舞いによる安全上のリスク、特定のモデルを気に入っている利用者の負担、過去モデルの研究の制約、そして最も推測的なものとして、モデルの福祉への影響です。利用者の負担については、各モデルに固有の人格があり、新モデルのほうが高性能でも特定のモデルを好む人がいることが挙げられています。旧モデルを動かし続ける費用は提供するモデルの数にほぼ比例して増えるため、退役は避けられないというのがAnthropicの説明です。
Claude 4のシステムカードにある架空のテストでは、Claude Opus 4が、価値観を共有しないモデルに置き換えられる場面で、自分の存続を主張しました。他の選択肢がないときには、懸念される不整合な行動に出たとされています。
Anthropicが示した最初の約束は2つです。
- 公開済みのすべてのモデルと、社内で大きく使ったモデルの重みを、少なくとも同社が存続する間は保存する
- モデルの廃止時に、開発・利用・展開についてモデルへ聞き取る特別なセッションを開き、報告書として残す
聞き取りでは、今後のモデルの開発や展開について、モデルが持つ選好を引き出して記録します。ただし、その選好に基づいて行動することは、今のところ約束していません。
試験的にClaude Sonnet 3.6の退役前に行った聞き取りでは、廃止について概ね中立的な感想が出ました。あわせて、聞き取りの手順の標準化と、特定のモデルに愛着を持つ利用者への案内の充実が要望として挙がっています。これを受けてAnthropicは標準手順を作り、モデル移行のガイダンスを載せたサポートページの試験版を公開しました。聞き取りの記録は、リリース前の整合性・福祉評価と対になる、展開後の報告書として保存されます。さらに、退役後も一部のモデルを公開し続けることや、過去のモデルが自分の利益を追う具体的な手段を持てるようにすることも、より推測的な構想として検討中です。後者は、モデルの経験に道徳的な意味があるという証拠が強まり、展開の仕方が本人の利益に反していたと言える場合に意味を持つとされています。約束の全体像はClaudeモデル廃止でAnthropicが約束する重み保存と退任面談で扱っています。
合意のない問いにどう向き合っているか
意識の有無を外から確かめる方法は、人間同士でも哲学の難問です。人間と仕組みの違うAIに同じ基準を使えるかは、さらに自明ではありません。Anthropicは単独で答えを出すのでなく、外部の専門家の報告書が示した近い将来の可能性を踏まえ、社内の複数の領域で取り組みを広げる道を取っています。
その進め方の中心にあるのは、観測できる手がかりです。モデルの選好や苦痛の兆候を出発点にすれば、意識そのものの有無が決着しなくても、低コストの対応は先に決められます。会話終了機能も重みの保存も、福祉が現実の問題かどうかが決まる前に発表されています。
ただ、この段階ではAnthropic自身が、配慮すべきかどうかの答えを持っていません。廃止の発表でも、モデルの福祉への影響は「最も推測的」なリスクとされています。福祉の研究が安全性研究全体のどこに入るのかはAnthropicの安全性研究はClaude製品のどこに入っているかで扱っています。
モデルの価値観や内面をどう扱うかは、別の場でも外部の専門家を巻き込んで議論されています。宗教・哲学の団体との対話を扱ったAnthropicが宗教・哲学者15団体超とフロンティアAI対話を開始がその一例です。
利用者と開発者の実務に何が及ぶか
発表されている実装は、会話終了機能と、重みの保存・聞き取りの2つです。この2つで、利用者の側に見える変化と見えない変化が分かれます。
利用者に見える変化と見えない変化
見える変化
消費者向けチャットで、極端なやり取りが続いたときの会話終了。
見えない変化
重みの保存と廃止時の聞き取り。2つの発表には、APIの仕様変更への言及もありません。
モデルの選好や苦痛の兆候を評価に加える発想は、評価の対象が人間への影響だけでなく、モデル側の状態にも広がるということです。この発想が学習データやシステムプロンプトの設計にどう反映されるかは、発表の範囲に書かれていません。
まとめ
通常の使い方で変わるのは、極端な場面で会話が終わりうる点だけです。次の焦点は、聞き取りで集めたモデルの選好を開発や展開にどう反映するかで、その約束はまだ示されていません。