Claudeのレッドチームがフロンティア脅威を追う理由 — 2023年からの積み重ね

フロンティア脅威レッドチームとは何か

「フロンティア脅威レッドチーミング」は、Claudeが国家安全保障に関わる領域(生物兵器・サイバー攻撃など)でどこまで危険な能力を持ちうるかを、専門家と協働して評価する取り組みです。Anthropicは2023年7月26日に、この取り組みの初期方針と最初の実証実験の結果を公開しました。

きっかけは2023年7月21日にホワイトハウスで発表された自主的コミットメントです。Anthropicはここで、生物・サイバーセキュリティなど「AIリスクの最も重大な発生源」に対する内部・外部のセキュリティテストを約束しました。ただし、こうした専門領域のレッドチーミングには、時間と専門知識への集中的な投資が必要になります。

どうやって専門領域の脅威を評価するのか

フロンティア脅威レッドチーミングは、モデルの一般的な会話能力を試すような通常の評価とは前提が違います。Anthropicが最も重視したのは、数十年の経験を持つ領域専門家との協働です(RLHFモデルがなぜ攻略しにくいかを扱った初期のレッドチーム研究はAnthropicのレッドチーム研究にまとめています)。専門家とともにまず「脅威モデル」を定義します。どんな情報が危険なのか、その情報がどう組み合わさると実害につながるのか、実害を生むにはどの程度の正確さと頻度が必要なのかを、具体的に言語化する作業です。単発の有害そうな出力を1つ生成させるだけでは実害にならず、多くの場合は正確な情報を何段階も積み重ねる必要がある、という前提に立っています。

明確な調査計画に沿って、領域専門家とAIの専門家が合わせて100時間以上をかけ、モデルと密に対話しながら真の能力を見極めます。専門家自身がモデルとの対話方法やジェイルブレイクの手法を学ぶ必要がある点も特徴です。最終的な目標は、専門知識に基づく自動評価とそれを繰り返し実行できる仕組みを作ることですが、この種の情報は機微に触れやすいため、信頼できる第三者との連携と強固な情報セキュリティ対策が前提になります。

2023年の実証実験で何が分かったか

最初の試験プロジェクトは生物学領域を対象にしました。トップクラスのバイオセキュリティ専門家とともに、半年間で150時間超をかけ、モデルが生物兵器の設計・入手につながる有害な情報を出力しないかを評価しています。専門家は、監視・執行の仕組みが働かない専用の安全なインターフェースを使い、Claudeとの対話やジェイルブレイクの手法を学びながら評価を重ねました。

分かったことは二つあります。まず、当時の最先端モデルは、頻度こそ高くないものの、領域によっては専門家レベルの精緻で正確な有害情報を出力しうるという点です。モデルが大きくなるほど能力が高まる兆候も確認されました。もう一つは、こうしたリスクへの対処法も同時に見つかったという点です。訓練プロセスの調整(Constitutional AIの手法など)によって有害な出力を意味のある水準で減らせること、分類器ベースのフィルターが有害な情報の連鎖的な組み合わせを難しくすることが確認され、当時の公開モデルにはすでにこれらの対策が実装されていました。

Anthropicはこの結果を「不作為であれば近い将来(2〜3年以内)にリスクが顕在化しうる」と評価しつつ、緩和策の存在も同時に示しました。

2023年時点で見据えていた次の課題

実証実験を終えた時点で、Anthropicは「始める前より試したい実験と評価が増えた」と振り返っています。中でも重要な今後の実験として挙げられたのが、LLMが有害な情報を得る速度を、検索エンジンなど従来の手段と比べてどれだけ速めるかを継続的に測定することでした。しかもこれは、当時の最先端モデルだけでなく、次世代モデル・ツール利用モデル・マルチモーダルモデルといった将来のモデルでも繰り返し測定すべきだとされていました。

もう一つの課題は、フロンティア脅威レッドチーミングを経ないまま公開されるモデルへの備えです。十分に高性能なベースモデルが公開されれば、悪意ある利用者がそれを小型化・特定タスク向けにファインチューニングして、有害な生物学的能力を引き出す可能性があると警告していました。この懸念は、後のオープンウェイトモデルに関するAnthropicの立場にもつながっています。

なぜ政府・ラボとの連携を前提にしたのか

2023年の投稿がもう一つ強調していたのは、国家安全保障という領域そのものの性質です。この分野はもともと政府が扱い慣れた領域であり、政府・研究ラボ・その他の関係者が協力しやすい土壌があります。Anthropicはそのうえで、公平な立場を保ちつつ機微な情報を扱えるだけの安全対策を備えた新しい第三者評価機関の必要性を訴えていました。単独の企業内評価だけに頼らない体制を、当初から志向していたことになります。

この体制はどう育ち、何を生み出したか

2023年の投稿では、Anthropicが「フロンティア脅威レッドチーミング研究チーム」を立ち上げ、政府や他のラボへの情報共有と、責任ある開示プロセスの試験運用を始めると述べています。この体制はその後、Frontier Red Teamという専任チームへと発展しました。

その延長線上にある成果が、2025年11月に公表された「初のAI主導サイバースパイ作戦の阻止」です。中国の国家支援を受けたとみられる攻撃者がClaude Codeを悪用し、世界約30組織への侵入を試みた事件で、AIが作戦の80〜90%を自律実行していました。この事件はMITRE ATT&CKフレームワークに照らすと13の戦術と30の技術に該当すると分析されています。さらに2026年6月には、2025年3月から2026年3月の間に不正利用でアカウント停止となった832件を同じMITRE ATT&CKフレームワークに照らして分析した報告も公表されています。

この3件を時系列で並べると、対象領域と評価の粒度は次のように推移しています。

研究から得られた教訓は今にどう生きているか

2023年の報告で示された緩和策のアプローチ(訓練プロセスの調整と分類器フィルター)は、その後のモデルにも一貫して受け継がれています。2026年6月のMITRE分析でも、Anthropicは「今回の分析結果をもとに、マルウェア開発や大規模データ持ち出しといった行為を検知・遮断するサイバー安全対策を最も高性能なモデルに実装した」と説明しています。

もう一つの一貫した姿勢は、リスクを公開しながら業界・政府と共有する方針です。2023年時点ですでに「新しい第三者機関を設立し、各ステークホルダー間でリスクと緩和策を報告する開示プロセスを試験運用する」との構想が語られており、これは2025年の攻撃事例の詳細公開や、2026年のVerizon年次データ侵害調査報告書(DBIR)への分析結果提供という形で実現しています。

Claudeの脅威追跡が積み上げてきたもの

フロンティア脅威レッドチーミングが特異なのは、単発の監査ではなく継続的な観測体制として設計されている点です。2023年の生物領域での知見は「モデルが大きくなるほど能力が高まる」という一般則を残しましたが、この一般則はサイバー領域でも繰り返し確認されています。2026年の分析では、832件のうち67.3%がマルウェア作成にAIを使っていた一方、権限昇格や横方向移動といった「侵入後」の高度な工程にAIを使う攻撃者は6.5%にとどまっていました。ただし調査期間の前半6ヶ月では中〜高リスクと判定された攻撃者が33%だったのに対し、後半6ヶ月には56%まで増えており、AI利用がアカウント発見のような侵入後の技術にシフトする一方で初期侵入のフィッシング利用は減少しています。これは2023年に予測された「モデルが大きく賢くなるほどリスクの質が変わる」という見立てが、サイバー領域で現実になった形です。使用した技術の数と攻撃者の技量の相関も崩れており、最も未熟な攻撃者でも平均16種類、最も熟練した攻撃者でも平均20種類とほとんど差がなく、2025年11月の事件でも使われた技術は30種類・13戦術と中リスク層の攻撃者と同水準でした。にもかかわらずAnthropicの独自リスクスコアでは最大値の100点と評価されており、MITRE ATT&CKの技術数だけでは危険度を測れないことをAnthropic自身が指摘しています。実際、Claude Code・API・チャット画面のどれを使ったかという利用形態も、リスクの高さとは相関していませんでした。

裏を返せば、今後さらに高性能なモデルが登場すれば、レッドチームが追うべき脅威の輪郭もまた変わり続けます。Anthropicが継続的にこの種の報告を出し続けている以上、読者にとっての実利は「1回読んで終わり」ではなく、新しい報告が出るたびに前提が更新されると理解しておくことです。

まとめ

Anthropicが2023年に掲げた「専門家との協働」「開示プロセスの試験運用」「第三者機関の必要性」という3本柱は、いまも形を変えながら維持されています。単発の実証実験を繰り返し可能な観測の仕組みへ変えられたかどうかが、この取り組みの評価軸です。公開ベースモデルの悪用リスクへの立場はオープンウェイトモデルに関するAnthropicの立場、実務での活用例はClaudeをサイバーセキュリティ業務でどう使うかにまとめています。