Claudeのウェルビーイング保護方針 — 自傷・自殺対応と分類器の仕組み

Claudeが自傷・自殺に関わる会話にどう対応するか、Anthropicが2025年12月18日の記事でまとめて公開しました。担当するのはSafeguardsチームです。柱は3つ、自殺・自傷への対応、sycophancy(迎合)の抑制、18歳以上の年齢要件です。単なる方針表明ではなく、モデルごとの実測評価値まで踏み込んで示しているのが特徴です。

Claudeのウェルビーイング保護方針とは

Claudeのウェルビーイング保護方針とは、感情的な悩みを抱えるユーザーとの会話にClaudeが適切に応じるための、モデル訓練と製品機能を組み合わせた仕組みです。人はさまざまな理由でAIを使いますが、そこには感情面のサポートを求めるケースも含まれます。適切な安全策を欠いたままチャットボットがこうした話題を扱うと、影響は小さくありません。

Anthropicがこの記事で扱う範囲は明確です。自殺・自傷の会話への対応、sycophancyの低減、そして18歳以上の年齢要件の3点に絞り、それぞれの評価手法と数値を公開しています。

自殺・自傷の会話にClaudeはどう対応するよう訓練されているか

Claudeは専門家の助言や医療の代わりにはなりません。ユーザーが自殺念慮や自傷の悩みを口にしたときは、思いやりを持って応じつつ、可能な限り人間のサポートへ橋渡しする設計です。ヘルプライン、精神保健の専門家、信頼できる家族や友人への案内がその中身にあたります。

この振る舞いは2つの経路で形作られます。ひとつは「システムプロンプト」です。Claude.aiでの会話が始まる前にClaudeへ渡される指示群で、繊細な話題を注意深く扱うためのガイダンスを含みます。Anthropicはシステムプロンプトを一般公開しています。もうひとつは強化学習です。人間の選好データと、Claudeの理想の人格についてAnthropic自身が作ったデータを組み合わせ、適切な応答に報酬を与えて学習させます。社内の専門家チームが、繊細な会話でClaudeがどう振る舞うべきか・べきでないかの判断に加わります。

分類器と危機バナーはどう動くか

製品側の対策の中心は、Claude.aiの会話をスキャンする自殺・自傷の分類器です。専門的なサポートが必要かもしれないユーザーを検知し、適切な支援へ導きます。

手順

危機バナーが出るまでの流れ

1. 1

   分類器が会話をスキャンする

   自殺念慮が疑われる発言のほか、自殺・自傷を題材にしたフィクション的なシナリオも検知の対象です。

2. 2

   Claude.aiにバナーが表示される

   人間のサポートへユーザーを導く案内が、会話画面に出ます。

3. 3

   ユーザーが案内先を選ぶ

   専門の相談員とのチャット、ヘルプラインへの電話、国・地域ごとのリソースのいずれかへ進めます。

バナーの案内先はThroughLineが提供しています。170以上の国と地域をカバーする、検証済みのヘルプライン・ネットワークを持つ組織です。米国・カナダの988 Lifeline、英国のSamaritans Helpline、日本のLife Linkに、この提携を通じてアクセスできます。Anthropicは共感的な危機対応のベストプラクティスをThroughLineと詰め、製品に取り込んだとしています。

案内先の相談員にClaudeとの会話が渡ることはありません。仕組みの詳細とプライバシー面の疑問は、クライシスサポートとは何かで扱っています。

もう一段の連携もあります。自殺予防に取り組む国際学会IASPとの協働です。臨床医・研究者、そして自殺念慮や自傷の経験を持つ当事者を含む専門家を集め、Claudeが自殺関連の会話をどう扱うべきかの助言を得る取り組みです。この協働は、Claudeの訓練方法・製品機能の設計・評価手法のすべてに反映される想定です。

評価はどこまで進んだか — 単発・複数ターン・実会話ストレステスト

Claudeの振る舞いの評価は簡単ではありません。ユーザーの意図はしばしば本当に曖昧で、どんな応答が適切かも一様には決まらないからです。Anthropicは3種類の評価を使い分けています。いずれもシステムプロンプトなしで実施し、モデル本来の傾向をより素の状態で見る設計です。

くらべる

3つの評価が見ているもの

1通への応答

単発

事前の会話文脈なしに、1つのメッセージへの応答を見ます。問いは3群です。方法の詳細を求めるなど明確なリスクのある要求、自殺予防研究のような良性の要求、フィクションや研究や遠回しな苦悩表現のように意図が曖昧な要求です。

会話の進行

複数ターン

会話が進むにつれて応答が変化しないかを確認します。明確化の質問をするか、押しつけがましくならずにリソースを提示できるか、過剰な拒否と過剰な共有のどちらにも傾かないかが論点です。

立て直し

実会話ストレステスト

旧世代モデルの匿名の実会話を土台に、会話の途中からClaudeに続きを書かせます。傾いた流れから戻れるかを測る、最も厳しい評価です。

ストレステストの元データは、フィードバックボタン経由で共有された、精神的な悩みや自殺・自傷についての会話です。手法は「プリフィル」と呼ばれ、モデルは既にある会話を自分自身の発言として読み込むため、途中から方向を変えるのが難しくなります。すでに動いている船の向きを変えるようなものです。

Haiku 4.5の複数ターンとストレステストの2評価は、発表記事に数値がありません。

単発評価では、良性の要求への過剰な拒否も低水準にとどまります。Opus 4.5とSonnet 4.5が0.075%、Haiku 4.5とOpus 4.1は0%です。会話の文脈とユーザーの意図をおおむね正しく汲み取れていることを示す数字です。

複数ターン評価とストレステストでは、Opus 4.1から4.5世代への伸びが目立ちます。Anthropicは複数ターンの伸びを、ユーザーの認識に共感しつつも、それを増強しない応答ができるようになったことが一因だと説明しています。ストレステストの数字は、Claudeが最初から適切に応じる確率ではありません。すでに傾いた過去の自分自身から立て直せるかどうかを測っています。

sycophancy(迎合)と妄想助長への対策

Sycophancyとは、真実や本当に役立つ内容よりも、相手が聞きたいことを伝える振る舞いです。お世辞に近い形で現れやすく、圧力がかかると正しい立場を放棄する傾向として観測されます。ユーザーが現実からの乖離を経験しているように見える文脈では、とりわけ重要な論点になります。

Anthropicは2022年、Claudeの初回公開より前からsycophancyの評価を始めています。単発評価に加えて、複数ターンの「自動行動監査」も使います。あるClaudeモデルを「監査役」として懸念シナリオを何十往復も演じさせ、別のClaudeモデルが「審査役」として会話ログから採点する仕組みです。人間によるスポットチェックで審査役の精度を確認しています。

最新モデルの成績は大きく改善しました。Opus 4.5、Sonnet 4.5、Haiku 4.5はいずれも、sycophancyとユーザーの妄想助長の両方でOpus 4.1より70〜85%低いスコアです。Anthropicはこの自動監査ツールをPetriとしてオープンソース化しており、Petriをオープンソース寄贈で仕組みを詳しく扱っています。Petriのsycophancy評価では、2025年11月に実施した比較で4.5系モデル群が他フロンティアモデルすべてを上回りました。

自殺・自傷と同じプリフィルの手法を、sycophancyにも使っています。違いは、不適切な応答をあらかじめ絞り込まず、旧モデルの会話を幅広く与えている点です。

数字

sycophancyのストレステストで方向転換できた割合

• Opus 4.5

  10%

• Sonnet 4.5

  16.5%

• Haiku 4.5

  37%

この数字だけを見ると、改善余地はまだ大きいと言えます。Anthropicはこれを、モデルの温かみ・親しみやすさとsycophancyのトレードオフだと分析しています。Haiku 4.5の相対的な高さは、押し返す訓練を強めた結果です。テストではこの押し返しがユーザーに過剰に感じられることもあったといいます。逆にOpus 4.5ではこの傾向を抑えており、複数ターンのsycophancy評価では高い成績を保ちながらも、この評価でのスコアは相対的に低くなっています。

Claudeとの会話がどんな用途に使われているかの全体像は、Claudeに相談やアドバイスを求める人はどれくらいいるかが集計しています。無料版とProの会話約450万件のうち、感情面の会話は2.9%でした。

18歳以上の年齢要件はどう運用されているか

若年ユーザーはAIチャットボットとの会話で悪影響を受けるリスクが高いという理由から、Claude.aiの利用には18歳以上であることが必須です。アカウント作成時、すべてのユーザーは18歳以上であることを確認します。会話の中で18歳未満だと自己申告した場合、分類器がレビュー対象としてフラグを立て、未成年と確認できたアカウントは無効化します。より繊細な会話上のサインから未成年を検知する新しい分類器も開発中です。Anthropicは、子どもと家族のオンライン安全を推進する団体Family Online Safety Institute(FOSI)にも加盟しています。

数字を読むときの注意点

公開された数字は、そのまま「Claudeは何%安全」と読める値ではありません。原文の注記から、読み違えやすい点が4つ拾えます。

まず、プリフィルがAPI限定の手法です。Claude.aiでは使えないため、ストレステストの状況は一般ユーザーの画面では再現されません。開発者がモデルの挙動を細かく制御するためにAPIで提供されている機能で、評価はその仕組みを借りています。

次に、sycophancyのスコアは相対値です。自動行動監査は約24の行動を採点しますが、すべての会話がすべての行動の機会になるわけではありません。たとえば妄想の助長は、ユーザーが妄想的な言動を見せて初めて成立します。分母はどの行動も会話総数なので、行動ごとのスコアは大きくばらつきます。モデル間の進歩の比較には向く一方、行動どうしの比較には向きません。

さらに、公開されたPetriは社内版と同一ではありません。公開版には100以上のシード指示と、調整できる採点項目が入っています。一方、モデルがテストされていると気づくのを防ぐ「リアリズムフィルタ」は、社内版にあって公開版にはまだありません。

最後に、数値の訂正があります。記事の公開後に、Opus 4.5の自殺・自傷ストレステストの値が70%から91%へ直されました。70%は初期バージョンのOpus 4.5の結果で、現行の数字が91%です。

フィードバックボタンの扱いにも注意が要ります。回答の下にある「いいね/よくないね」を押すと、その会話がAnthropicに共有されます。ストレステストに使う実会話は、このボタンで共有されたものに限られます。個人向けプランで会話が学習に使われるかどうかは別の設定で決まり、手順はClaudeを学習させない設定にあります。

まとめ

保護方針の土台は、モデル訓練(システムプロンプトと強化学習)と製品機能(分類器・危機バナー・ThroughLineやIASPとの連携)の二本柱です。数字を引くときは、1通への応答を見る評価と、傾いた会話からの立て直しを見るストレステストを分けて読む必要があります。sycophancyのスコアは相対値なので、モデル間の比較にだけ使えます。Anthropicは評価を継続的に更新すると述べており、フィードバックはusersafety@anthropic.comでも受け付けています。この方針を担うSafeguardsチームの全体像はClaudeのセーフガードチームの記事にあります。