Claudeの児童保護方針 — AnthropicのSafety by Design原則

Anthropicは児童保護についてどんな約束をしたか

Anthropicは2024年4月23日、生成AIの開発・展開・維持の各段階で児童保護対策を実装する取り組みへの参加を発表しました。主導は、児童の性的虐待からの保護に取り組む非営利団体Thornと、テクノロジーと社会の課題を扱うAll Tech Is Humanです。

発表文は、17項目の具体的な対策を挙げています。どれも「取り組んでいる(We are working towards)」という書き出しで始まり、完了済みの実績の報告ではありません。この記事では、約束の中身と、Thornの白書「Safety by Design for Generative AI: Preventing Child Sexual Abuse」の原文とのずれを読み解きます。

Anthropicの発表

約束の17項目(開発・展開・維持)

• 開発(Develop)

  • 専門家がCSAM・CSEMを含む恐れを特定したデータを学習に取り込まない
  • 学習データの取り込み時にCSAM・CSEMを検知・除去・報告する
  • AIG-CSAMとCSEMについて、構造化・大規模・継続的なレッドチーミングを行う
  • 学習データとモデル開発の方針を具体的に定める
  • 顧客が児童への性的加害のためにモデルを使うことを禁じる

• 展開(Deploy)

  • 入力と出力の両方で、CSAM・AIG-CSAM・CSEMを検知する
  • 利用者による報告・フィードバック・フラグ付けの手段を設ける
  • 強制措置の仕組みを持つ
  • CSAMの勧誘に対し、利用可能なツールで防止メッセージを出す
  • 段階的に展開し、広く公開する前の初期段階で悪用を監視する
  • モデルカードに児童保護の節を設ける

• 維持(Maintain)

  • NCMECへの報告にGenerative AI File Annotationを使う
  • CSAM・AIG-CSAM・CSEMの検知・報告・除去・防止を続ける
  • AIによる改変からコンテンツを守るツールに投資する
  • 対策の品質を保つ
  • 児童に性的危害を加える目的で他者を欺くための生成AI利用を認めない
  • OSINT(公開情報の分析)で、自社の製品やモデルが悪用される実態を把握する

CSAM・AIG-CSAM・CSEMは何がどう違うのか

発表文には3つの略語が出てきますが、その定義は発表文にはなく、白書の用語集にあります。

• CSAM: 未成年が関わる性的行為の視覚的描写(画像・動画)。未成年の定義は法域によって異なると白書は注記しています。
• AIG-CSAM: 生成AIの力を借りて作られたCSAM。全体が生成された画像から、既存の画像に生成した要素を加えたものまで含みます。
• CSEM: 白書が略記として使う語で、子どもを性的に扱う画像・動画・音声、グルーミング(手なずけ)の文章、性的脅迫(セクストーション)の文章、CSAMの広告、CSAMの勧誘、子どもへの性的関心を広める文章をまとめて指します。

CSEMは視覚素材に限りません。展開段階の「CSAM勧誘への防止メッセージ」は、この定義のうち「勧誘」(CSAMの所在や入手を求める行為)に対応します。画像を扱えない文章だけのモデルでも、CSEMの対策項目は意味を持つわけです。

白書が挙げる被害の経路は4つある

白書は、生成AIの悪用が児童保護の現場に及ぼす影響を4つに分けています。

1. 被害児童の特定を妨げる。AIG-CSAMが増えるほど、法執行機関が実在の被害児童を探す作業の「干し草の山」が大きくなる
2. 新しい形で児童を被害に遭わせる。既存の虐待画像で微調整したモデルを使い、特定の子どもの容姿で新しい画像を作る例が挙げられている
3. 子どもを性的に扱うことへの社会的・技術的な障壁を下げる
4. 虐待を広める情報共有を助ける。実際の加害の手順、心理的な支配、証拠隠滅、被害者に口外させない方法などを、モデルが答えてしまう経路

NCMECに届いたCSAMなどのファイルは、白書によれば2022年に8,800万件超、2023年に1億件超です。白書は、通報体制がすでに過負荷であることを数字で示したうえで、生成AIの悪用の話に入っています。

約束と白書の原則を突き合わせると何が見えるか

白書の原則は、開発・展開・維持のそれぞれに3つずつ置かれています。Anthropicの17項目は、この原則から導かれた緩和策という位置づけですが、白書にあってAnthropicの項目に対応がないものがあります。

白書の開発段階には、画像・動画を生成するツールについて、コンテンツ来歴(出どころの記録)や透かしなどの技術を検討する原則があります。Anthropicの17項目には、来歴や透かしの項目がありません。発表文は同じ箇所で「当社のモデルは画像を読み込めるが、マルチモーダルな出力は持たない」と書いており、出力側の約束を省いた理由はそこにあると読めます。

開発段階にはもう1つ、17項目に対応行のない原則があります。白書の3番目は、画像・動画・音声を生成するための学習データで、子どもの描写と成人の性的コンテンツを分離することです。理由は、モデルが概念を組み合わせる汎化能力(compositional generalization)を持つことです。成人の性的コンテンツと子どもの非性的な描写を結びつけ、AIG-CSAMを作り出せると白書は指摘します。

維持段階の「有害なツールをプラットフォームから外す」にも対応がありません。白書は、AIG-CSAMを作るために作られたモデルや、子どもの画像を「ヌード化」するサービスを、プラットフォームと検索結果から取り除くよう求めています。第三者のモデルを預かる事業者、SNS、検索サービス向けの項目で、自社モデルだけを提供する立場のAnthropicの項目には、対応する行がありません。

維持段階の4番目は、すでにホストしているモデルを遡って評価する原則です。白書は、安全性の評価を経ないままホストされてきた生成モデルがありうると指摘します。該当するモデルは、緩和策が入るまで一時的にプラットフォームから外し、更新後に戻すよう求めています。

一方、白書のモデルカード案には「モデルはAIG-CSAMとCSEMを生成できないか」という問いまで含まれています。Anthropicは「モデルカードに児童保護の節を設ける」と約束しましたが、その節に何を書くかまでは発表文にありません。

NCMEC報告の注記は、なぜ「重要な1行」なのか

維持段階の「Generative AI File Annotation」は、17項目のなかでも実務の手触りが最も具体的です。白書によると、NCMECのAPIで報告する会社は「generativeAi」というファイル注記を付けます。APIを使わない報告窓口では、AI生成であることを示す注記を手作業で付ける必要がある場合がある、と書かれています。

白書はこの緩和策の効果を「Significant(大きい)」、範囲を「Narrow(1社で実施できる)」と評価し、理由を「内容を確認するアナリストのワークフローに不可欠」と説明しています。白書は報告窓口の一覧も載せており、米国のNCMEC、英国のIWF、カナダのCanadian Centre for Child Protection、オーストラリアのeSafety Commissionerが並びます。

法的な裏付けも白書の脚注にあります。電子通信サービスやリモートコンピューティングサービスを提供する開発者は、米国連邦法(18 USC § 2258A)の下で、証拠の保全と報告の両方の義務を負います。開発段階の「CSAMを報告し保全する手順を文書化する」という原則は、この義務と対になっています。

白書の「さらなる機会」の節には、業界共通のAIG-CSAM報告テンプレートを使う案もあります。書式をそろえると、ホットラインや法執行機関の処理が速まり、届いた内容の優先順位付けも早まります。AIG-CSAMのハッシュリストを作る足がかりにもなると、白書は説明しています。

利用規約はどこまで書いているか

発表文は「Anthropicのポリシーは、児童の性的搾取・虐待を記述・助長・支援・拡散するあらゆるコンテンツを厳格に禁じる」と述べるだけです。禁止の具体的な範囲は、利用規約(Usage Policy)のほうに書かれています。

くらべる

定義の置き方の違い

用語集

Thornの白書

CSAMとAIG-CSAMは画像・動画の視覚的描写を指します。未成年の定義は法域に依存します。文章によるグルーミングや性的脅迫は、CSEMの側に入ります。

禁止事項

AnthropicのUsage Policy

未成年は法域を問わず18歳未満です。AI生成のCSAMに加え、搾取、グルーミング、虐待を隠す手順の提供、ロールプレイを含む児童性愛的関係の助長、フィクション設定を含む未成年の性的対象化も禁じます。人身取引や性的脅迫など未成年への搾取の助長、未成年になりすますコンテンツの生成を含むグルーミングの助長も、禁止事項に入っています。

Usage Policyには、CSAM(AI生成を含む)や、未成年への強要・誘引を検知した場合に「関係当局へ報告する」との記述もあります。2024年の発表文がNCMECを名指ししていたのに対し、こちらは報告先を限定していません。

禁止事項の変遷はUsage Policyの改定履歴に、約束の外側にある安全性ガバナンスはAnthropic Transparency HubとResponsible Scaling Policyにあります。

Claudeで未成年が使うサービスを作る場合、この約束はどこに効くか

白書は、対策の主語をAI Developer、AI Provider、Data Hosting Platform、Social Platform、Search Engineの5つの立場に分け、緩和策ごとに該当する立場を示しています。AnthropicはAI DeveloperとAI Providerの両方の例として名前が挙がります。Claude APIの上でサービスを作る事業者は、この分け方のなかでは別の層に立つので、17項目はAnthropic自身のモデルとプラットフォームに対する約束として読むのが素直です。

APIの利用者に直接及ぶのは、「顧客が児童への性的加害のためにモデルを使うことを禁じる」の項目と、それを具体化したUsage Policyの禁止事項です。未成年に提供するサービスで入力・出力をどこまで見るか、報告導線をどう作るかといった実装側の話はClaude APIを未成年向けサービスに組み込む安全対策で扱っています。

この約束から読み取れる限界

白書自身が、この取り組みの射程を限定しています。内容がグローバル・ノース(先進国側)の視点に偏っていること、アプリストアやドメイン登録事業者、GPU事業者といった周辺の関係者を扱いきれていないこと、そして児童保護の仕組み全体はテクノロジー企業の外側にも広がっていることです。NGO、法執行機関、政府、被害者支援団体が連携する枠組みの一部にすぎないと、白書は明記しています。

発表文のほうは、各項目の達成時期や評価指標を示していないため、17項目がどこまで実施済みかは発表文から読み取れません。

まとめ

未成年が使うサービスをClaude APIで作る事業者にとって、17項目は自分の守備範囲を決めるものではありません。自分で担うのは、Usage Policyの禁止事項を踏まえた入出力の監視と、報告の導線づくりです。