Claudeの児童保護方針 — AnthropicのSafety by Design原則
AnthropicはThorn・All Tech Is Humanが主導するSafety by Designに署名した。開発・展開・維持の3段階でCSAM対策をどう約束しているかを読む。
Anthropicは児童保護についてどんな約束をしているか
Anthropicは2024年4月23日、他の主要AI企業とともに、生成AI技術の開発・展開・維持のあらゆる段階で児童保護対策を実装するという取り組みに参加したと発表しました。児童の性的虐待からの保護を専門とする非営利団体Thornと、テクノロジーと社会の複雑な課題に取り組むAll Tech Is Humanが主導する取り組みです。
この取り組みの核にあるのが「Safety by Design」原則です。AI技術が児童の性的虐待素材(AIG-CSAM: AI-generated CSAM)や、児童への性的加害を助長・拡散する用途に悪用されるリスクを、設計段階から織り込んで抑える考え方を指します。
AIG-CSAMとは何を指す言葉か
CSAM(Child Sexual Abuse Material)は児童の性的虐待素材を指す既存の法的・実務的な用語です。AIG-CSAM(AI-Generated CSAM)はそのAI生成版を指す語で、AI企業がこの取り組みで初めて使い始めた区分ではなく、Thornなど児童保護団体が実務上使用してきた分類です。生成AIの登場によって、実在の被害記録だけでなく、AIが新たに生成する素材への対処が課題として浮上したことを反映しています。
既存のAnthropicの方針はどうなっているか
Anthropicは以前から、児童の性的搾取・虐待を記述・助長・支援・拡散するあらゆる形態のコンテンツをUsage Policyで厳格に禁止しているとしています。該当素材を検知した場合は、National Center for Missing & Exploited Children(NCMEC、全米行方不明・被搾取児童センター)へ報告する方針です。
なお、この方針発表の時点でAnthropicのモデルはマルチモーダル出力に対応していないと明記されています。画像を読み取る(ingest)ことはできても、画像を生成する出力機能自体を持たない状態だったということです。この制約は当時の技術的な事実であり、その後のモデル世代でマルチモーダル出力機能が追加されている場合、この記述がそのまま現在に当てはまるとは限りません。
開発・展開・維持の3段階で何を約束したか(Develop / Deploy / Maintain)
Anthropicが表明した具体的な対策は、開発(Develop)・展開(Deploy)・維持(Maintain)という3つの局面に分けて整理されています。3段階に分ける狙いは、CSAM対策を「公開前に1回すませる作業」にしない点にあります。学習データの取得からモデルの実運用、公開後の継続監視まで、モデルのライフサイクル全体にわたって責任の所在を明確にする発想です。どの局面で何を約束しているかを、項目ごとに一覧すると次のとおりです。
| 段階 | 約束した項目 | 何を意味するか |
|---|---|---|
| Develop(開発) | 約束した項目リスクが分かっているデータソースを学習データから除外 | 何を意味するか専門家が特定済みの「CSAM・CSEMを含む」データソースを、そもそも学習データの取得元にしない |
| Develop | 約束した項目学習データ取り込み時点でのCSAM・CSEM検知・除去・報告 | 何を意味するかデータを取り込む工程そのものに検知フィルタを組み込む |
| Develop | 約束した項目構造化・規模を持つ一貫したレッドチーミング | 何を意味するかAIG-CSAM・CSEMに対するモデルの頑健性を、場当たり的でなく体系的な手法で検証する |
| Develop | 約束した項目学習データとモデル開発の方針を具体的に定める | 何を意味するか何を根拠にデータを選び、モデルを開発するかの基準を文書化する |
| Develop | 約束した項目顧客に対し児童への性的加害を助長する目的での利用を禁止 | 何を意味するか契約・利用規約の水準で用途を制限する |
| Deploy(展開) | 約束した項目入力・出力双方でのCSAM・AIG-CSAM・CSEM検知 | 何を意味するかユーザーが送る入力とモデルが返す出力の両方を検知対象にする |
| Deploy | 約束した項目ユーザーからの報告・フィードバック・フラグ機能 | 何を意味するか検知漏れを利用者側から拾い上げる経路を用意する |
| Deploy | 約束した項目実効性のある強制メカニズム | 何を意味するか検知・報告を実際のアカウント停止等の措置に結びつける |
| Deploy | 約束した項目CSAM勧誘に対する防止メッセージの表示 | 何を意味するか悪用を試みるユーザーに対し、利用可能なツールで警告を示す |
| Deploy | 約束した項目段階的な展開と初期段階での悪用監視 | 何を意味するか広範な公開前の限定公開期間に、悪用の兆候を集中的に見る |
| Deploy | 約束した項目モデルカードへの児童保護セクション組み込み | 何を意味するか対策の存在をモデル仕様の文書として公開する |
| Maintain(維持) | 約束した項目NCMEC報告時のGenerative AI File Annotation使用 | 何を意味するか報告する素材が生成AI由来であることを示す注記形式を使う |
| Maintain | 約束した項目検知・報告・除去・防止の継続 | 何を意味するか公開後も同じ対策を止めずに回し続ける |
| Maintain | 約束した項目コンテンツ改変対策ツールへの投資 | 何を意味するかAIによる素材の改変からコンテンツを守る技術に資源を割く |
| Maintain | 約束した項目対策の品質維持 | 何を意味するか検知精度などの水準を公開後も落とさない |
| Maintain | 約束した項目欺瞞目的の生成AI利用の禁止 | 何を意味するか児童への性的加害のため他者を欺く用途を明示的に禁じる |
| Maintain | 約束した項目OSINTを用いた悪用実態の把握 | 何を意味するかオープンソースインテリジェンスの手法で、自社の製品・モデルが悪意ある主体にどう使われうるかを調べる |
Develop・Deploy・Maintainの3段階を見比べると、検知(Detect)という機能自体はDevelopの学習データ取り込み時とDeployの入出力時の両方に登場し、1箇所で完結させるのではなく開発から運用まで多重に配置する設計だとわかります。一方でMaintain段階に固有なのは、NCMECへの報告形式やOSINTによる悪用実態の把握など、モデルを公開した後でなければ実行できない項目です。対策項目の中には、CSAM・AIG-CSAMと並んで「CSEM」という略語も繰り返し登場します。Child Sexual Exploitation Material(児童の性的搾取素材)の略で、直接的な虐待記録であるCSAMより広い概念として扱われる用語です。3つの略語を並べて対策範囲を定めているのは、AIが生成する素材(AIG-CSAM)だけでなく、性的搾取につながる周辺素材(CSEM)まで含めて網を広げる意図と読み取れます。
Safety by Designは誰が主導した枠組みか
この取り組みの土台になっているのは、Thornが公開した白書「Safety by Design for Generative AI: Preventing Child Sexual Abuse」です。Anthropicはこの白書が示す原則に署名し、そこから導かれる具体的な緩和策として上記の項目群を約束するという構成を取っています。児童保護分野で実務経験を持つ専門組織が原則を定め、AI企業側がそれに沿った実装を約束するという役割分担です。
Thorn・All Tech Is Humanが主導するこの枠組みには、Anthropic以外の主要AI企業も参加しています。特定企業だけの独自ルールではなく、業界横断の共通基盤として設計されている点が、他の単独発表の安全性方針と異なる位置づけです。
この方針はAnthropicの他の安全性方針とどう関係するか
児童保護方針は、Anthropicが持つ複数の安全性関連コミットメントの1つです。Usage Policyが用途ベースの禁止事項を定める一方、児童保護方針はAI生成コンテンツという技術特性に起因するリスクへの対処を専門に扱っています。両者は独立した文書ですが、Usage Policyの「児童の性的搾取・虐待コンテンツの厳格禁止」という既存条項を土台に、より具体的な開発・運用プロセスへ落とし込んだものが今回の取り組みだと整理できます。用途ベースの禁止事項と、開発・展開・維持というライフサイクル単位の実装コミットメントは、扱う抽象度が異なるため、片方だけを読んでも全体像は見えません。
Anthropicの安全性への取り組み全体を俯瞰する窓口としては、研究・ガバナンス・コンプライアンス関連の情報を集約するAnthropic Transparency Hubがあります。モデルの拡張に伴うリスク管理の枠組みという観点では、Responsible Scaling Policyがより広い範囲の安全性ガバナンスを扱っています。
児童保護のための報告・検知はどこまで実運用に入っているか
公表内容から確認できるのは、開発・展開・維持の各段階での対策方針であり、個々の対策がどの時点で完全実装されたかという実施状況の詳細は、この発表単体では明らかにされていません。「取り組んでいる(we are working towards)」という表現が使われている項目が複数あり、発表時点ですべてが完了済みの体制ではなく、継続的に整備を進める性質のコミットメントだと読み取れます。NCMECへの報告体制やGenerative AI File Annotationの使用のように、既存の児童保護インフラとの接続を前提にした項目が多いのも特徴です。AI企業が独自の報告ルートを新設するのではなく、既存の専門機関の枠組みに接続する設計を選んでいます。
この「接続する設計」は、AIG-CSAM対策を単独のAI企業だけで完結させるのが現実的でないという前提を映しています。NCMECは長年、実在の被害記録としてのCSAMを扱ってきた専門機関です。AI生成素材を含めた新しい種類の通報が来た場合にも、既存の受付・照合・法執行機関への連携の枠組みをそのまま使えるという利点があります。逆に言えば、AI企業側が対策として約束できるのは「検知して専門機関につなぐ」入口の整備までです。その先の被害認定や法的対応は、児童保護の既存インフラに委ねる分業関係にあるとも読めます。Generative AI File Annotationという注記形式が明示的に求められているのも、NCMEC側が実在の被害記録とAI生成素材を区別して扱う必要があるためだと考えられます。
Claudeを使ったサービスを作る開発者への影響
Claude APIを使って画像を扱う消費者向けサービスを構築する開発者にとって、この方針は間接的な形で関わってきます。Develop段階の「顧客によるモデル利用の禁止事項」は、Usage Policyの禁止条項と表裏一体であり、児童への性的加害を助長する用途でのAPI利用は、方針発表以前から契約上も認められていません。Deploy段階が挙げる「入力・出力双方での検知」「ユーザーからの報告・フラグ機能」は、Anthropic自身のプラットフォーム側の対策として位置づけられている項目ですが、Claudeを組み込んだサービス側でも同様の検知・通報導線を用意しておくことが、児童保護分野の実務では推奨される設計です。画像認識機能をアプリに組み込む場合は、この方針が前提とする「入力段階での検知」という発想を、自社サービスの入力バリデーションにも反映させる価値があります。
特に注意が必要なのは、モデル自体がマルチモーダル出力に対応するようになった場合です。この発表の時点でAnthropicのモデルは画像を生成する出力機能を持たない前提で書かれていますが、その後の世代でこの制約が変わっているなら、開発者が構築するサービス側の検知範囲も「入力の検知」だけでは足りなくなります。出力側にも児童保護の観点でのフィルタリングが必要になるかどうかは、利用するモデル世代がマルチモーダル出力に対応しているかどうかで変わる点として、開発者は自社が使うモデルの仕様を確認しておく必要があります。
まとめ
Anthropicは2024年4月、Thorn・All Tech Is Humanが主導するSafety by Design原則に署名し、児童保護のための具体的な対策を開発・展開・維持の3段階にわたって表明しました。学習データの取得段階からの対策、実運用での検知・報告の仕組み、NCMECとの連携を含む維持体制まで、既存のUsage Policyの禁止事項を土台にしたより具体的な実装コミットメントです。業界横断の枠組みへの参加という位置づけであり、個々の対策の実施状況を継続的に追う必要があります。