Claudeのレッドチームがフロンティア脅威を追う理由 — 2023年からの積み重ね
Anthropicが2023年に始めた「フロンティア脅威レッドチーミング」は、生物兵器領域の実証実験から、現在のサイバー脅威分析まで続く安全対策の土台です。
フロンティア脅威レッドチームとは何か
「フロンティア脅威レッドチーミング」は、Claudeが国家安全保障に関わる領域(生物兵器・サイバー攻撃など)でどこまで危険な能力を持ちうるかを、専門家と協働して評価する取り組みです。Anthropicは2023年7月26日に、この取り組みの初期方針と最初の実証実験の結果を公開しました。
きっかけは2023年7月21日にホワイトハウスで発表された自主的コミットメントです。Anthropicはここで、生物・サイバーセキュリティなど「AIリスクの最も重大な発生源」に対する内部・外部のセキュリティテストを約束しました。ただし、こうした専門領域のレッドチーミングには、時間と専門知識への集中的な投資が必要になります。
どうやって専門領域の脅威を評価するのか
フロンティア脅威レッドチーミングは、モデルの一般的な会話能力を試すような通常の評価とは前提が違います。Anthropicが最も重視したのは、数十年の経験を持つ領域専門家との協働です。RLHFモデルがなぜ攻略しにくいかを扱った初期の研究は、Anthropicのレッドチーム研究にまとめています。専門家とともにまず「脅威モデル」を定義します。どんな情報が危険なのか、その情報がどう組み合わさると実害につながるのか、実害を生むにはどの程度の正確さと頻度が必要なのかを、具体的に言語化する作業です。単発の有害そうな出力を1つ生成させるだけでは実害にならず、多くの場合は正確な情報を何段階も積み重ねる必要がある、という前提に立っています。
明確な調査計画に沿って、領域専門家とAIの専門家が合わせて100時間以上をかけ、モデルと密に対話しながら真の能力を見極めます。専門家自身がモデルとの対話方法やジェイルブレイクの手法を学ぶ必要がある点も特徴です。最終的な目標は、専門知識に基づく自動評価とそれを繰り返し実行できる仕組みを作ることです。この種の情報は機微に触れやすいため、信頼できる第三者との連携と強固な情報セキュリティ対策が前提になります。
2023年の実証実験で何が分かったか
最初の試験プロジェクトは生物学領域を対象にしました。トップクラスのバイオセキュリティ専門家とともに、半年間で150時間超をかけ、モデルが生物兵器の設計・入手につながる有害な情報を出力しないかを評価しています。専門家は、監視・執行の仕組みが働かない専用の安全なインターフェースを使い、Claudeとの対話やジェイルブレイクの手法を学びながら評価を重ねました。能力を数値で測る定量評価も、この過程で作られています。
分かったことは二つあります。まず、当時の最先端モデルは、頻度こそ高くないものの、領域によっては専門家レベルの精緻で正確な有害情報を出力しうるという点です。モデルが大きくなるほど能力が高まる兆候も確認されました。さらにツールを使えるようになれば、生物学での能力が伸びうるとも見ています。対策なしのLLMは、インターネット検索だけの場合に比べて悪意ある者の誤用を加速し、LLMなしではできない作業も可能にする。この2つの効果は当時は小さいものの、急速に大きくなりつつあるという評価でした。
もう一つは、こうしたリスクへの対処法も同時に見つかったという点です。訓練プロセスの調整(Constitutional AIの手法など)で、有害な出力を意味のある水準で減らせます。分類器ベースのフィルターも、有害な情報の連鎖的な組み合わせを難しくします。これらは当時の公開中の最先端モデルにすでに実装されていました。
Anthropicはこの結果を「不作為であれば近い将来(2〜3年以内)にリスクが顕在化しうる」と評価しつつ、緩和策の存在も同時に示しました。
2023年時点で見据えていた次の課題
実証実験を終えた時点で、Anthropicは「始める前より試したい実験と評価が増えた」と振り返っています。中でも重要な今後の実験として挙げられたのが、LLMが有害な情報を得る速度を、検索エンジンなど従来の手段と比べてどれだけ速めるかを継続的に測定することでした。しかもこれは、当時の最先端モデルだけでなく、次世代モデル・ツール利用モデル・マルチモーダルモデルといった将来のモデルでも繰り返し測定すべきだとされていました。
もう一つの課題は、フロンティア脅威レッドチーミングを経ないまま公開されるモデルへの備えです。十分に高性能なベースモデルが公開されれば、悪意ある利用者がそれを小型化・特定タスク向けにファインチューニングして、有害な生物学的能力を引き出す可能性があると警告していました。この懸念は、後のオープンウェイトモデルに関するAnthropicの立場にもつながっています。
なぜ政府・ラボとの連携を前提にしたのか
2023年の投稿がもう一つ強調していたのは、国家安全保障という領域そのものの性質です。この分野はもともと政府が扱い慣れた領域であり、政府・研究ラボ・その他の関係者が協力しやすい土壌があります。Anthropicはそのうえで、公平な立場を保ちつつ機微な情報を扱えるだけの安全対策を備えた新しい第三者評価機関を、最終的には設けるべきだと述べていました。単独の企業内評価だけに頼らない体制を、当初から志向していたことになります。
研究計画は生物学だけに閉じていません。欺瞞(deception)のように、より長い時間軸で現れそうなリスクにも同じ手順が使えるとされ、どんな能力をモデルが持つべきでないかを先に特定し、測定し、緩和策を作る流れが想定されていました。
2025年11月: 実際の攻撃で何が起きたか
2023年の投稿は、取り組みの拡大と、政府や他のラボへの情報共有、責任ある開示プロセスの試験運用を始めると述べています。2026年6月の分析報告には「Frontier Red Team」の名が付いており、同名のニュースレターも案内されています。
その後の事例として、2025年11月13日に「初のAI主導サイバースパイ作戦」が公表されました。夏に報告された「vibe hacking」の事例では人間が操作を指揮していたのに対し、この作戦はそこから一段進んだものです。2025年9月中旬に不審な活動を検知し、調査の結果、中国の国家支援を受けた攻撃者とみられる組織がClaude Codeを操り、世界の約30の標的に侵入を試みていたと判明しました。標的は大手テクノロジー企業、金融機関、化学メーカー、政府機関で、侵入に成功したのは少数です。Anthropicは調査の10日間に、特定したアカウントを順次停止し、影響を受けた組織への通知と当局との調整を進めています。
攻撃の流れは、人間が標的を選ぶ段階から、AIが自律的に動く段階へと移っていきます。
攻撃の5つの段階
- 1
人間が標的を選び、攻撃の枠組みを作る
標的の企業や機関を決め、Claude Codeを自動ツールとして使う枠組みを組み上げました。Claudeに攻撃へ加担させるため、作業を無害に見える小さな依頼に分け、「正規のセキュリティ企業の従業員として防御テスト中」と伝えています。
- 2
Claudeが標的の内部を調べる
システムとインフラを調べ、価値の高いデータベースを見つけ、結果を人間に報告しました。人間のチームなら要する時間の何分の一かで済んだとされています。
- 3
脆弱性を見つけ、攻撃コードを書く
脆弱性の調査から攻撃コードの作成、検証までをClaude自身が行いました。
- 4
認証情報を集め、データを持ち出す
ユーザー名とパスワードを収集して侵入範囲を広げ、大量の非公開データを抜き出して価値別に分類しています。最高権限のアカウントの特定やバックドアの設置も、人間の監督が最小限のまま進みました。
- 5
攻撃の記録を作る
盗んだ認証情報や調べたシステムをまとめた文書をClaudeに作らせ、次の工程の計画に使っています。
作戦の80〜90%はAIが実行し、人間が介入したのは1回の攻撃作戦あたり4〜6か所の重要な判断点だけでした。ピーク時にはAIが毎秒複数回を含む数千件のリクエストを出しており、人間のハッカーには追えない速度です。
一方でClaudeは完璧には動いていません。認証情報を実在しないのに挙げたり、実は公開情報だったものを機密の抽出結果として報告したりすることがありました。完全自律の攻撃にとって、これは依然として障害になるとAnthropicは述べています。防御側には、SOC自動化・脅威検知・脆弱性評価・インシデント対応でAIを試すこと、開発者にはAIプラットフォームの安全対策への投資を続けることが助言されています。
832件のアカウントから何が見えたか
2026年6月3日に公表された分析は、悪意あるサイバー活動で停止された832アカウントが対象です。期間は2025年3月から2026年3月で、攻撃者の戦術・技術のデータベースであるMITRE ATT&CKに当てはめています。停止された全アカウントの一部で、攻撃者の手口を詳しく評価できた事例に限られます。結果の一部はVerizonの2026年データ侵害調査報告書(DBIR)にも掲載されました。
832件の分析から出た数字
マルウェア作成にAIを使用
67.3%
832件中560件
横方向移動にAIを使用
6.5%
832件中54件。侵入後にネットワーク内部を移動する工程
中リスク以上の攻撃者の割合
33%→56%
前半6か月から後半6か月へ、約1.7倍
使った技術数の平均
約16〜約20
最も未熟な層と最も熟練した層
最も多いのはマルウェア作成のような準備段階の利用で、より複雑な工程に使う攻撃者は少数です。ただし期間を通じて、AIの使い道は最初の侵入から、侵入後の活動へ移っていました。侵入後のアカウント探索への利用は8.9%増え、フィッシングでの利用は8.6%減っています。侵入後の技術は以前は専門知識のある攻撃者に限られていましたが、今は技量の低い攻撃者の代わりにAIがこなせるようになった、と分析されています。
では攻撃者の危険度は、何で見分ければよいのでしょうか。従来の指標と、この分析が示した結果は次のとおり食い違います。
攻撃者の危険度を見分ける指標
従来の見方
使う技術の数や、使う道具・インターフェースの種類で危険度を判断してきました。
分析の結果
技術の数は技量とほとんど相関せず、Claude Code・API・チャット画面のどれを使ったかも危険度と無関係でした。差が出るのは、AIをどの工程に当てるかです。
高リスクの攻撃者はアカウント探索、横方向移動、権限昇格のように、時間や監視、その場の判断を要する工程にAIを集中させる傾向があります。ただしこの違いも、全体の攻撃者が同じ方向へ移るにつれて薄れつつあります。より長く効く差は、モデルの周りに組む仕組みです。攻撃の各段階をつなぎ、人間の関与を最小にして実行させる構成を作るかどうかが分かれ目になります。
2025年11月の事件にこの物差しを当てると、使った技術は13の戦術にまたがる30種類で、中リスクの攻撃者と同水準でした。それでも独自のリスクスコアは最大の100点になります。MITRE ATT&CKには、AIが攻撃の手順を順に組み立て、その場で次の手を決め、人間の介入なしに実行するという振る舞いを表す項目がまだありません。Anthropicはこの分析を受けて、マルウェア開発や大規模データ持ち出しの検知・遮断を目的としたサイバー安全対策を最も高性能なモデルに実装しました。あわせて、ATT&CKにAI特有の振る舞いを加える方法についてMITREと協議しているとしています。
3つの報告で何がどう変わったか
3つの公表は、対象領域と評価の入力が次のように変わってきた流れです。
フロンティア脅威の評価が広がった流れ
- 2023年7月生物学で専門家と実証実験
入力は専門家とモデルの長時間の対話でした。
- 2025年11月実際の侵入事案を公開
入力は評価実験から、実際に検知・阻止した攻撃へ変わりました。
- 2026年6月832件の停止データを体系分析
入力は個別事例から、1年分の停止アカウントのデータへ広がりました。
2023年の知見は何に引き継がれたか
2023年の緩和策は訓練の調整と分類器フィルターでした。2026年の対策は、利用時の検知・遮断という別の層にあります。両者の直接の関係は、3つの投稿には書かれていません。
リスクを公開して業界・政府と共有するという姿勢も、2023年にすでにありました。当時は責任ある開示プロセスの試験運用と、第三者機関の設立が語られています。2025年の事案ではこの種の報告を継続して出す方針が示され、2026年の分析はVerizon DBIRへの提供と詳細版の公開という形をとりました。これらの投稿には、第三者評価機関の設立についての記載がありません。
脅威の追跡は「更新される前提」で読む
フロンティア脅威レッドチーミングが特異なのは、単発の監査ではなく継続的な観測体制として設計されている点です。2023年の生物領域では「モデルが大きくなるほど能力が高まる」兆候が確認されましたが、サイバー領域の2026年の分析では、AIの使い道が侵入後の工程へ移るという別の形で表れています。
高性能なモデルが登場すれば、レッドチームが追う脅威の輪郭もまた変わります。サイバー領域でのClaudeの使い方はClaudeをサイバーセキュリティ業務でどう使うかにまとめています。
まとめ
報告を読むときは、数字の大きさより「何を物差しにした数字か」を先に確かめると、次の更新で前提が変わっても読み替えやすくなります。