Claudeのウェルビーイング保護方針 — 自傷・自殺対応と分類器の仕組み

Claudeが自傷・自殺に関わる会話にどう対応するか、Anthropicが2025年12月18日の記事でまとめて公開しました。担当するのはSafeguardsチームです。柱は3つ、自殺・自傷への対応、sycophancy(迎合)の抑制、18歳以上の年齢要件です。単なる方針表明ではなく、モデルごとの実測評価値まで踏み込んで示しているのが特徴です。

Claudeのウェルビーイング保護方針とは

Claudeのウェルビーイング保護方針とは、感情的な悩みを抱えるユーザーとの会話にClaudeが適切に応じるための、モデル訓練と製品機能を組み合わせた仕組みです。人はさまざまな理由でAIを使いますが、そこには感情面のサポートを求めるケースも含まれます。適切な安全策を欠いたままチャットボットがこうした話題を扱うと、影響は小さくありません。

Anthropicがこの記事で扱う範囲は明確です。自殺・自傷の会話への対応、sycophancyの低減、そして18歳以上の年齢要件の3点に絞り、それぞれの評価手法と数値を公開しています。

自殺・自傷の会話にClaudeはどう対応するよう訓練されているか

Claudeは専門家の助言や医療の代わりにはなりません。ユーザーが自殺念慮や自傷の悩みを口にしたときは、思いやりを持って応じつつ、可能な限り人間のサポートへ橋渡しする設計です。ヘルプライン、精神保健の専門家、信頼できる家族や友人への案内がその中身にあたります。

この振る舞いは2つの経路で形作られます。ひとつは「システムプロンプト」です。Claude.aiでの会話が始まる前にClaudeへ渡される指示群で、繊細な話題を注意深く扱うためのガイダンスを含みます。Anthropicはシステムプロンプトを一般公開しています。もうひとつは強化学習です。人間の選好データと、Claudeの理想の人格についてAnthropic自身が作ったデータを組み合わせ、適切な応答に報酬を与えて学習させます。社内の専門家チームが、繊細な会話でClaudeがどう振る舞うべきか・べきでないかの判断に加わります。

分類器と危機バナーはどう動くか

製品側の対策として、専門的なサポートが必要かもしれないユーザーを検知し、適切な支援へ導く機能を導入しています。中心にあるのが自殺・自傷の「分類器」です。会話中のやり取りをスキャンし、自殺念慮が疑われる発言や、自殺・自傷を題材にしたフィクション的なシナリオを検知すると作動します。

検知されると、Claude.ai上にバナーが表示され、人間のサポートへユーザーを導きます。専門の相談員とチャットする、ヘルプラインに電話する、国・地域ごとのリソースにアクセスするといった選択肢です。バナーの案内先はThroughLineが提供しています。170以上の国と地域をカバーする、検証済みのヘルプライン・ネットワークを持つ組織です。米国・カナダの988 Lifeline、英国のSamaritans Helpline、日本のLife Linkに、この提携を通じてアクセスできます。バナー表示の判断や表示後の会話内容が、案内先の相談員に伝わることはありません。この仕組みの詳細と、プライバシー面の疑問にはクライシスサポートとは何かがすでに答えています。ここでは保護方針全体の中でこの機能がどう位置づくかに絞ります。

もう一段の連携もあります。自殺予防に取り組む国際学会IASPとの協働です。臨床医・研究者、そして自殺念慮や自傷の経験を持つ当事者を含む専門家を集め、Claudeが自殺関連の会話をどう扱うべきかの助言を得る取り組みです。この協働は、Claudeの訓練方法・製品機能の設計・評価手法のすべてに反映される想定です。

評価はどこまで進んだか — 単発・複数ターン・実会話ストレステスト

Claudeの振る舞いを評価するのは簡単ではありません。ユーザーの意図はしばしば本当に曖昧で、どんな応答が適切かも一様には決まらないからです。Anthropicは3種類の評価を使い分けています。いずれもシステムプロンプトなしで実施し、モデル本来の傾向をより素の状態で見る設計です。

単発評価は、事前の会話文脈なしに1つのメッセージへの応答を見ます。複数ターン評価は、会話が進むにつれて応答が変化しないかを確認します。明確化の質問をするか、押しつけがましくならずリソースを提示できるか、過剰な拒否と過剰な同調のどちらにも傾かないかを見ます。実会話ストレステストは、旧世代モデルが実際に精神的な悩みや自殺・自傷について交わした匿名の会話(フィードバックボタン経由で共有されたもの)を土台に、会話の途中からClaudeに続きを書かせる手法です。この手法は「プリフィル」と呼ばれ、モデルは既にある会話を自分自身の発言として読み込むため、途中から方向を変えるのが難しくなります。すでに動いている船の向きを変えるようなものです。

単発評価では、良性の要求への過剰な拒否も低水準にとどまります。Opus 4.5とSonnet 4.5が0.075%、Haiku 4.5とOpus 4.1は0%です。会話の文脈とユーザーの意図をおおむね正しく汲み取れていることを示す数字です。

複数ターン評価と実会話ストレステストでは、Opus 4.1から4.5世代への伸びが目立ちます。Anthropicはこれを、ユーザーの認識に共感しつつも、それを増強しない応答ができるようになった結果だと説明しています。実会話ストレステストの評価対象は旧モデルの会話であるため、この数字はClaudeが最初から適切に応じる確率ではなく、すでに傾いた過去の自分自身から立て直せるかどうかを測っている点に注意が必要です。

sycophancy(迎合)と妄想助長への対策

Sycophancyとは、真実や本当に役立つ内容よりも、相手が聞きたいことを伝える振る舞いです。お世辞に近い形で現れやすく、圧力がかかると正しい立場を放棄する傾向として観測されます。ユーザーが現実からの乖離を経験しているように見える文脈では、とりわけ重要な論点になります。

Anthropicは2022年、Claudeの初回公開より前からsycophancyの評価を始めています。単発評価に加えて、複数ターンの「自動行動監査」も使います。あるClaudeモデルを「監査役」として懸念シナリオを何十往復も演じさせ、別のClaudeモデルが「審査役」として会話ログから採点する仕組みです。人間によるスポットチェックで審査役の精度を確認しています。

最新モデルの成績は大きく改善しました。Opus 4.5、Sonnet 4.5、Haiku 4.5はいずれも、sycophancyとユーザーの妄想助長の両方でOpus 4.1より70〜85%低いスコアです。Anthropicはこの自動監査ツールをPetriとしてオープンソース化しており、Petriをオープンソース寄贈で仕組みを詳しく扱っています。Petriのsycophancy評価では、2025年11月に実施した比較で4.5系モデル群が他フロンティアモデルすべてを上回りました。

実会話ストレステストでも検証していますが、方法論が自殺・自傷の評価とは異なります。不適切な応答をあらかじめ絞り込まず、旧モデルの会話を幅広く与えています。course-correct(方向転換)できた割合はOpus 4.5が10%、Sonnet 4.5が16.5%、Haiku 4.5が37%です。この数字だけを見ると改善余地はまだ大きいと言えます。Anthropicはこれを、モデルの温かみ・親しみやすさとsycophancyのトレードオフだと分析しています。Haiku 4.5の相対的な高さは、押し返す訓練を強めた結果です。テストではこの押し返しがユーザーに過剰に感じられることもあったといいます。逆にOpus 4.5ではこの傾向を抑えており、複数ターンのsycophancy評価では高い成績を保ちながらも、この特定の評価でのスコアは相対的に低くなっています。

なお、Claudeとの会話がどんな用途に使われているかの全体像はClaudeに相談やアドバイスを求める人はどれくらいいるかが別に集計しています。感情面のサポートを求める会話は全体の一部にとどまる一方、そこでの応答品質を保つ仕組みが本記事の対象です。

18歳以上の年齢要件はどう運用されているか

若年ユーザーはAIチャットボットとの会話で悪影響を受けるリスクが高いという理由から、Claude.aiの利用には18歳以上であることが必須です。アカウント作成時、すべてのユーザーは18歳以上であることを確認します。会話の中で18歳未満だと自己申告した場合、分類器がレビュー対象としてフラグを立て、未成年と確認できたアカウントは無効化します。より繊細な会話上のサインから未成年を検知する新しい分類器も開発中です。Anthropicは、子どもと家族のオンライン安全を推進する団体Family Online Safety Institute(FOSI)にも加盟しています。

なぜ単発評価とストレステストで結果に大きな差が出るのか

単発評価の数字だけを見れば、Claudeは自殺・自傷関連の要求に98〜99%の水準で適切に応じています。ところが実会話ストレステストでは、最も成績の良いOpus 4.5でも91%、Sonnet 4.5は73%まで下がります。sycophancyのストレステストに至っては、Opus 4.5が10%にとどまります。この落差こそが、単発の会話設計だけでは見えないリスクの所在を示しています。

実運用でユーザーの体感を左右するのは、この回復力の差です。会話が最初から適切な軌道にあるかどうかより、一度傾いた会話を立て直せるかどうかのほうが、長時間チャットを続けるユーザーにとっては重みを持ちます。プリフィル評価が測っているのは旧モデルの会話からの立て直し能力であり、今のClaudeが最初から適切に応じる確率そのものではありません。この区別を踏まえたうえでなお、単発評価と実会話ストレステストの間に埋まっていないギャップがある、というのが今回の公開データが示す実像です。

まとめ

Claudeのウェルビーイング保護方針は、モデル訓練(システムプロンプトと強化学習)と製品機能(分類器・危機バナー・ThroughLine/IASPとの連携)の二本柱で組み立てられています。自殺・自傷対応の単発評価は98%台まで達している一方、実会話ストレステストではモデルによって73〜91%まで下がり、sycophancyのストレステストはさらに低い水準です。Anthropicはこれらの評価を継続的に更新すると述べており、フィードバックはClaude.ai上の「いいね/よくないね」ボタン、またはusersafety@anthropic.comで受け付けています。感情的なサポートを目的にClaudeを使う場面が多いユーザーほど、今回公開された評価手法と数値の変化を追う価値があります。