Claudeのセーフガードチームは何をしているか — 5層の防御と警告の意味
AnthropicのSafeguardsチームは、ポリシー策定から訓練、評価、リアルタイム執行、継続監視までの5層でClaudeを守っています。拒否・ブロック・警告がどの層の動きかを見分ける早見表つきで解説します。
AnthropicのSafeguardsチームは、Claudeの悪用を見つけ、脅威に対応し、防御を作る専任チームです。政策、執行、プロダクト、データサイエンス、脅威インテリジェンス、エンジニアリングの専門家が集まっています。担当は1か所ではありません。ポリシーの策定からモデルの訓練、公開前の評価、公開後のリアルタイム執行、新しい悪用手口の調査まで、モデルのライフサイクル全体にまたがります。
Claudeが断る、出力が止まる、警告が届く。利用者の目に入る現象の裏には、この5つの層のどれかがあります。
Claudeのセーフガードチームとは何か
セーフガードチームとは、Claudeを「役に立つまま安全に」保つための防御を、ポリシーから運用まで一貫して担う組織です。Anthropicは、防御が次の5つの層で動くものとして説明しています。
防御が動く5つの層
1. ポリシー
Usage Policyを設計し、どんな使い方を許し、どんな使い方を止めるかを決めます。
2. 訓練
ファインチューニングのチームと協力し、Claudeに持たせる振る舞いを決めます。
3. 評価
公開前に、安全性・リスク・バイアスの3種類のテストを回します。
4. リアルタイム執行
公開後は分類器が会話を見張り、必要なら応答を誘導したりアカウントに対処したりします。
5. 継続監視
単発のプロンプトでは見えない、大規模で巧妙な悪用の兆候を探します。
この記事は、防御の中身と「利用者の画面で何が起きたか」の対応づけに絞ります。禁止用途の一覧はAnthropicのAcceptable Use Policyの解説、APIを組み込む側の実装はClaude APIの安全対策に詳しく書いています。
ポリシーの層はどう作られるか
Usage Policyは、Claudeをどう使ってよいか、どう使ってはいけないかの枠組みです。児童の安全、選挙の公正、サイバーセキュリティといった領域を扱いながら、医療や金融のような業界での使い方にも細かな指針を置いています。
この策定と改訂を支える仕組みが2つあります。
Unified Harm Framework
Unified Harm Frameworkは、Claudeの利用がもたらしうる害を5つの次元で捉える枠組みです。
| 次元 | 見る対象 |
|---|---|
| 身体的 | 見る対象人の身体への危害 |
| 心理的 | 見る対象精神面への影響 |
| 経済的 | 見る対象金銭や財産への損害 |
| 社会的 | 見る対象社会全体への影響 |
| 個人の自律 | 見る対象本人が自分で決める力 |
重要なのは、これが採点表ではない点です。Anthropicは「形式的な等級づけではなく、構造化されたレンズ」と位置づけ、悪用の起きやすさと規模を考慮してポリシーや執行手順を作るために使うと説明しています。
ポリシー脆弱性テスト
もう1つのポリシー脆弱性テスト(Policy Vulnerability Testing)では、外部の専門家と組んで懸念領域を洗い出します。そのうえで、難しいプロンプトに対するモデルの出力を見て、ポリシーが耐えるかを試します。協力先には、テロリズム、過激化、児童安全、メンタルヘルスの専門家が含まれます。
結果は、ポリシーだけでなく訓練と検知にも反映されます。実例は2024年の米国大統領選挙です。Institute for Strategic Dialogueと組んで「Claudeが古い情報を返す場面」を調べ、選挙情報を求めるClaude.aiの利用者にTurboVoteなど信頼できる情報源を案内するバナーを足しました。2026年の中間選挙に向けた更新は米国中間選挙セーフガードの記事にあります。
訓練と評価の層は拒否の手前で効く
Claudeが危険な依頼を断るのは、実行時に誰かが止めているからとは限りません。多くはモデルの訓練の結果です。
セーフガードチームはファインチューニングのチームと協議し、Claudeに持たせる振る舞いと持たせない振る舞いを決めます。評価や検知で有害な出力が見つかれば、訓練中の報酬モデルを更新したり、公開済みモデルのシステムプロンプトを調整したりして直します。
専門家との連携も訓練に入ります。自傷やメンタルヘルスの場面では、オンライン危機支援のThroughLineと組み、どう応じるべきかの理解を深めました。狙いは、全面的に拒否することでも、利用者の意図を取り違えることでもなく、応答のニュアンスを整えることです。この領域の具体策はClaudeのウェルビーイング保護方針で扱っています。
こうした訓練を通じて、Claudeは次の3つを身につけるとされています。
- 違法で有害な行為への協力を断る
- 悪意あるコードや詐欺コンテンツ、有害な計画の生成の試みを見抜く
- 敏感な話題を丁寧に扱い、実害を狙う試みと区別する
公開前の3種類の評価
新しいモデルは公開前に評価を受けます。結果はモデルファミリーごとのシステムカードで報告されます。
公開前の評価3種
安全性評価
児童の搾取や自傷などでUsage Policyを守れるかを、明確な違反、曖昧な文脈、長い複数ターンの会話で試します。採点にはモデルを使い、正確さの確認に人の目を加えます。
リスク評価
サイバー被害や、化学・生物・放射性物質・核・高性能爆薬(CBRNE)など高リスク領域で、政府機関や民間と能力向上(uplift)のテストを行います。
バイアス評価
対立する立場のプロンプトを比べ、事実性・網羅性・同等性・一貫性で採点します。性別・人種・宗教などの属性が結果を偏らせないかも調べます。
評価は合否判定だけで終わりません。computer useツールの公開前評価では、スパムの生成と配布に悪用されうると分かりました。そこで公開前に、新しい検知方法と執行手段を作っています。不正の兆候があるアカウントでツールを無効化する選択肢と、プロンプトインジェクションから利用者を守る新しい対策です。評価で見つかった穴が、次の層の部品になる流れです。
リアルタイム執行の層は何を決めるか
公開後の検知と執行は、自動システムと人のレビューの組み合わせです。中核は、プロンプトで指示した、あるいは特別にファインチューニングしたClaudeモデルによる「分類器」です。分類器は特定の種類のポリシー違反をリアルタイムで検出します。
複数の分類器を同時に走らせ、それぞれが別の種類の害を監視できます。会話そのものは自然に流れたまま、裏で監視が走る構成です。これとは別に、自社プロダクトでは、アップロードされた画像のハッシュを既知のCSAMデータベースと照合する検知も使っています。
分類器の結果をもとに、次の執行が選ばれます。
| 執行 | 内容 |
|---|---|
| 応答の誘導(response steering) | 内容分類器がスパムやマルウェアの生成を疑ったとき、システムプロンプトに指示を足して応答を誘導する。ごく限られた場合は応答自体を止める |
| アカウントへの措置 | 内容違反のパターンを調べ、警告を出す。深刻な場合はアカウントを停止する |
| 不正なアカウントの遮断 | 内容不正なアカウント作成やサービス利用を防ぐ防御もある |
規模の難しさも明かされています。分類器は数兆トークン規模の入出力を処理しつつ、計算負荷を抑え、無害なコンテンツへの誤った執行も抑えなければなりません。誤検知を減らす設計が最初から要件に入っている点が、後で触れる「止められたとき」の扱いにつながります。
継続監視の層は1通のプロンプトを超えて見る
単発のプロンプトや1アカウントの範囲では見えない悪用もあります。そこでAnthropicは、有害なトラフィック全体を監視し、特定の害がどれだけ広がっているかと、巧妙な攻撃のパターンを調べています。手段は3つです。
- insights(Claudeの利用観察): 会話を高レベルの話題クラスターにまとめ、プライバシーを守りながら実際の使われ方を測る。感情面への影響に関する研究もこの成果から生まれ、ガードレール設計に生かされる
- 階層的要約(hierarchical summarization): 個々のやり取りを要約し、その要約を分析してアカウント単位の懸念を見つける。集めて初めて違反に見える行動、たとえば自動化された影響工作の検出に向く。computer useやサイバー悪用の監視に使われる
- 脅威インテリジェンス: 既存の検知が見逃す最も深刻な悪用を調べる。アカウント活動の急増といった悪用の指標を通常の使われ方と比べ、オープンソースのリポジトリや業界報告などの外部データを内部システムと突き合わせる。SNS、メッセージングアプリ、ハッカーフォーラムも監視対象で、知見は公開の脅威インテリジェンスレポートで共有される
この層の最前線は、Anthropicがフロンティア級の脅威を追う赤チームの仕事とつながります。背景はClaudeのレッドチームがフロンティア脅威を追う理由にあります。
拒否・ブロック・警告・停止をどの層の動きとして読むか
画面に出る現象と層の対応は、どのページにも表として載っていません。下の表は、各層の説明から逆に引いた目安です。
| 起きたこと | 主に関わる層 | 根拠となる記述 |
|---|---|---|
| Claudeが依頼を断る | 主に関わる層訓練 | 根拠となる記述有害な行為への協力を断ることを訓練で学ぶ |
| 途中で応答が変わる、または止まる | 主に関わる層リアルタイム執行 | 根拠となる記述分類器が応答を誘導し、ごく限られた場合は応答を止められる |
| 警告が届く | 主に関わる層リアルタイム執行(アカウントへの措置) | 根拠となる記述プロンプトがUsage Policyに違反すると判断された場合に警告する |
| アカウントの停止・終了 | 主に関わる層リアルタイム執行と継続監視 | 根拠となる記述違反の繰り返しなど。深刻な場合に終了する |
読み方の注意が2つあります。
1つ目。Usage Policyは、リアルタイムの安全対策が出力をブロックしたり制限したりすることがあるが、ブロックに遭遇したこと自体は違反を示さない、と明記しています。止められた経験は、違反の宣告とは別物です。Claude Codeで出る拒否表示についてはUsage Policy refusalの意味と対処を参照してください。
2つ目。警告はAPIとアプリで基準の単位が違います。APIの顧客への警告は、アカウント全体にわたる違反行動の継続的なしきい値と結びついています。1回のリクエストだけで決まるわけではなく、組み込み側の運用ではエンドユーザーの入力を含むアカウント全体が見られることになります。
止められたときに取れる行動
サポート記事とUsage Policyから、取れる手段をまとめます。
アカウントや出力が止められたときの動き
- 1
アカウントが停止された
claude.aiに停止されたアカウントでログインし、リンク先のフォームから異議申し立てをします。ログインしていないとフォームは開けません。Safeguardsチームが停止の理由を調べ直します。
- 2
データを手元に残したい
Free・Pro・Maxのアカウントが違反で停止されても、claude.aiにログインしてデータのエクスポートやアカウント削除ができます。Anthropicへの連絡は要りません。ただしエクスポートできる範囲は、違反の内容によって制限されることがあります。
- 3
所属する組織が保留になった
自分のアカウントは正常でも、所属組織が通常と異なる活動を理由に一時停止されると、ログイン時にその旨が表示されます。制限中の組織ごとに「Request a review」を押すと、再確認を依頼できます。
- 4
警告や出力が誤りだと思う
警告が誤りだと考える場合は、状況とアカウント情報を添えてメールで連絡します。出力が不正確、偏っている、有害だと感じたときは、製品内の「問題を報告」(サムズダウン)ボタンか、usersafety@anthropic.comに知らせます。
デュアルユース(軍民両用)や高リスクの用途には、通常より調整された安全対策でアクセスを申請できるプログラムも用意されています。サイバー領域のCyber Verification ProgramとLife Sciences Verification Programで、プログラムごとの資格条件があります。セキュリティ研究でリアルタイムのサイバー安全対策に当たる人は、前者が選択肢になります。
2026年11月12日発効のUsage Policyでは、AIであることの開示義務や未成年向けサービスの追加ガイドラインも明記されています。改定点はUsage Policy 2026年改定の記事にまとめています。
層構造から見えるAnthropicの設計思想
5つの層を並べると、共通する設計が見えてきます。入口(ポリシー)と出口(執行)だけでなく、訓練と評価という「モデルの中身」にも重心を置いている点です。
実行時に止めるだけの設計なら、分類器の誤検知がそのまま利用体験の悪化になります。Anthropicが訓練側で「全面的に拒否せず、意図を取り違えない」ことを狙うのは、実行時の執行を最後の手段に寄せるためだと考えられます。ただしこれは各層の説明からの推測で、層ごとの役割配分を数字で示した資料はありません。
もう1つの特徴は、層ごとに情報の流れが逆向きに戻ることです。評価で見つかったスパム悪用は新しい検知手段になり、継続監視の知見はガードレールに返ります。政策、訓練、評価、執行が一方通行の工程ではなく、循環する構造をしています。
Anthropicは、AIの安全確保は1組織で担うには大きすぎると述べ、利用者・研究者・政策立案者・市民団体からのフィードバックを求めています。防御を試す継続的なバグバウンティプログラムも運用しています。
まとめ
Safeguardsチームの5つの層を覚えておくと、拒否や警告の見え方が変わります。断られたのは訓練の層、応答が途中で変わったのはリアルタイム執行の層、警告やアカウント措置は違反パターンの調査の結果です。ブロックに遭っただけでは違反にならない、という点は押さえておく価値があります。
APIで自社サービスを組み込む側は、エンドユーザーの入力がアカウント全体のしきい値に積み上がる点を前提に設計することになります。組み込み側の具体策はClaude APIの安全対策に続きます。Enterprise向けの新しい検知の枠組みはEnterprise Frontier Safeguardsの記事が扱っています。