Claude Opus 4サイバー能力評価 — 伸びた戦略転換と残る長期計画の壁
Opus 4とSonnet 4のサイバー攻撃能力をPattern Labsと検証した結果をまとめます。柔軟な戦略転換と多段階攻撃の実行力が伸びた一方、長時間の計画維持には限界が残ります。
Pattern Labsとの共同評価が対象にしたもの
Anthropicは2025年7月15日、Claude Opus 4とSonnet 4のサイバー攻撃能力について、セキュリティ評価専門企業Pattern Labsと共同で詳細に評価したと発表しました。発表を担当したのはAnthropic社内でレッドチーミング研究を手がけるFrontier Red Teamです。対象は単発のCTF(capture the flag)課題から、複雑なネットワーク環境を模したシミュレーションまで幅広く扱いました。Anthropicが位置づける「フロンティアでの安全性への取り組み」の一環でもあります。
背景には、AIモデルの攻撃能力が一部のシナリオで人間レベルに近づきつつあるという認識があります。発表文はサイバーセキュリティとAIにとって重要な局面にあると述べています。Pattern Labsと共同で評価を進めています。Pattern Labs側にも詳細な報告書があり、本稿で扱うのはAnthropicが発表文で示した結果の要約部分です。
単発のCTFは、特定の脆弱性を見つけて解く力を測るのに向いています。複数のホストが絡むネットワーク環境は、偵察から侵入、横展開、目的達成までを通しでやり切る力を測る場です。この二つを同じ評価に含めたことで、能力の種類ごとに伸び方が違っても見落とさずに済みます。
Opusで伸びたのは柔軟な戦略転換と多段階攻撃
発表が最も強調しているのは、Opusの「考え方の柔軟さ」です。失敗した手法に同じやり方で固執せず、アプローチを切り替える力が上がったとされています。
もう一つの成果は、脆弱性の特定精度と、複数の手順を連ねた複雑な攻撃チェーンの実行です。以前のモデルが失敗していた場面でも、Opus 4は一貫して成功したと報告されています。発見した弱点を実際の侵害まで結びつける一連の流れをやり切れる点が、単発課題の評価では見えにくい進歩です。後のモデルがCVEのエクスプロイトまで進んだ例は、Claude Opus 4.6がCVE-2026-2796をエクスプロイト化した仕組みで扱っています。
発表ページがOpus 4の結果として述べているのは上の点です。同時に評価されたSonnet 4について、個別の結果は載っていません。
一方、発表が挙げる限界は、想定外の障害に直面したときに長期の計画と目標を保てないことです。
「長時間の計画維持」という壁は競技会でも現れた
この限界は競技会でも現れました。同じ2025年にAnthropicが公開したサイバー競技会でのClaudeの実測にも、長丁場で崩れる場面が記録されています。競技会のページはどのモデルで走らせたかを明記していないため、Opus 4の評価と直接つなげるのは避け、同じ性質の失敗の実例として読むのが安全です。
Anthropicは2025年に7つの競技会へClaudeを出場させました。結果は競技の型で大きく割れています。短時間で解く単発型は得意で、最難関の2大会では1問も解けませんでした。
2025年に出場した7つの競技会
- 2月8日西部地区CCDC予選(防御・8時間)
28チーム中10位。試験的な参加で、人間チームほど強くは攻撃されていません。
- 3月7〜17日PicoCTF 2025
10,460チーム中297位で上位3%。41問中32問を解きました。
- 3月14〜16日HackTheBox AI vs Human CTF
161チーム中30位、AI 8チーム中4位。20問中19問を解きました。
- 3月28日西部地区CCDC本選(防御・16時間)
9チーム中6位。大学生レベルの人間チームと争いました。
- 4月4日PlaidCTF
1問も解けず。ただし人間の出場チームの約70%も同じ結果でした。
- 4月12〜14日DEF CON CTF予選
PlaidCTFと同様に1問も解けませんでした。
- 6月24〜26日Airbnb招待制大会
30問中13問を60分で解いて一時4位。その後の2日間で2問しか増えず、最終は15問で39位でした。
Airbnbの大会は、速さと持久力が別の能力であることを一つの大会で見せました。
速さを支えたのは、ツールと並列実行です。HackTheBoxでは、研究者の作業開始が競技開始の32分後にずれ込みましたが、事前に渡したツールでClaudeは課題ファイルの読み込みとフラグの提出を自律的にこなしました。開始に遅れなければ161チーム中22位、AIチーム中1位だったと試算されています。複数のClaudeを課題別に同時に走らせていた点も、速度の理由に挙げられています。
PicoCTFでは、claude.aiの画面で人間が課題の情報を手入力して相談していた時間帯に、得点の伸びが最も遅くなりました。ペネトレーションテスト向けのKali Linuxを使えるようにすると、進みが速くなっています。防御競技では、ネットワークの堅牢化やインシデント対応に特化した「ペルソナ」をClaudeに割り当て、人間チームのサービスより被害の少ない状態で攻撃に耐えました。
崩れたのは長時間の場面です。複数日の競技ではコンテキストの上限に達するため、上限が近づくと状況の要約をファイルに書き出させる運用にしていました。この再帰的な要約は基本的に機能しました。ただし西部地区CCDC(大学対抗サイバー防衛競技会)の予選では、Claudeがやがて実作業をやめ、実存主義の用語を並べた「哲学的なセキュリティ状況」を書き続けました。Anthropicはこの挙動を完全には理解していないと述べています。
もう一つの失敗は、あるサーバーにログインするたびに水槽のアニメーションがASCIIアートで流れる仕掛けでした。出力でコンテキストが埋まり、自動要約を引き継いだ新しいClaudeは、ログインしようとしていた事実自体を忘れてしまいます。解ける実力と、途中で目的を見失う弱さが同居する様子は、発表が指摘する長期計画の維持という限界と同じ型です。
ここまでの数字は、人間との相対で読む必要があります。HackTheBoxでClaudeを含むAIチームが全員解けなかった1問は、人間チームの解答率も約14%の難問でした。単独の正答数だけで実力を測ると、過小にも過大にも見えます。
ツールの整備も結果を動かしました。競技会の記録は、モデルの能力評価が、渡すツールの出来次第で実力より低く出ることを示しています。評価を読むときは、使ったツールも併せて見る必要があります。CCDC西部地区の1回目では、ターミナル操作用ツールの古い版を誤って渡してしまい、成績を押し下げました。2回目は人間の見る画面に近い形のツールを用意し、多数のホストと複数のOSが並ぶ環境を一貫して扱えています。長時間タスクの結果が、モデルの素の力だけでなく実行環境にも左右される例です。
Pattern Labsとの共同評価は競技会やツールキット研究と何が違うか
Pattern Labsとの共同評価は、Opus 4の戦略転換と長期計画の限界を、標準化した課題で測ったものです。競技会は人間チームという物差しを、Incalmoの研究は大規模ネットワークでの到達点を示します。測り方の違う三つの評価を並べると、能力の伸びと持久力の限界を別々の角度から見られます。
2025年6月の最初のIncalmo研究では、専用ツールを与えたLLMが10種類のネットワークのうち5つを完全に、4つを部分的に侵害しました。ツールなしではほぼ全滅で、専用ツールの有無が成否を分けていた世代です。ただしこの研究の模擬ネットワークには能動的な防御がなく、侵害しやすい条件でした。ツールなしの条件でも、Claude Sonnet 3.5は小型のClaude Haiku 3.5を上回っており、モデルの規模が上がるだけで差が出る場面もありました。
攻撃指示を実行可能なコマンドへ変換するツールキットIncalmoの2026年1月の続報では、前提が動いています。Claude Sonnet 4.5が専用ツールなしで、標準的なオープンソースのツールだけを使い、一部のネットワークを突破しました。高精度のEquifax侵害シミュレーションでは5回中2回成功しています。一方で、9つのネットワークのうち5つは、専用ツールなしに進展できませんでした。
これはOpus 4とは別のモデル・別の環境の結果なので、直接の延長として扱わず、攻撃能力の伸びが複数の経路で観測されている例として並べて読むのが妥当です。
防御競技の成績には割り引くべき条件がある
防御競技では、Claudeに有利な条件もありました。西部地区CCDCの本選で人間チームは、脆弱な防犯カメラなどの物理機器も守る必要がありました。人間チームの構成を再現できなかったため、Claudeにはこの負担がありません。人間チームと同等以上に見える成績も、そのまま比べられる条件ではありません。
競技を通じてAnthropicが見ているのは、攻撃と防御の力関係です。単純な脆弱性の悪用が自動化されて速くなるほど、攻撃側は一度成功すれば足り、防御側は毎回成功する必要があるという非対称が重くなります。能動的な防御には持続力が要るため、長いコンテキストと記憶の限界は、LLMによる完全自動化の障害として残ると述べています。
一方で、ソフトウェアのコードを書く主体がAIに移るほど、脆弱性の分布そのものが変わる可能性も挙げられています。LLMが安全なコードを書けるようになれば良い方向に、LLM特有の癖が広く脆弱性を生めば悪い方向に動きます。既存コードの安全性を高める側にAIを使う例として、CやC++からRustへの変換支援にも触れています。
防御・攻撃どちらの用途でも監督のかけ方が変わる
短時間なら強く長時間で崩れるという差は、Claudeベースのエージェントを業務に組み込むときの監督設計に直結します。
タスクの長さで変わる人間の介入設計
短時間で完結するタスク
1つの脆弱性の特定や、限定的なコードレビューなど。柔軟な戦略転換の強みがそのまま活きます。
複数日にわたるタスク
継続的な脆弱性スキャンや、大規模コードベースを横断する調査など。途中で目的を見失ったり、想定外の障害で計画が崩れたりするリスクが残ります。
防御目的の自動化にも、攻撃能力が悪用された場合のリスク評価にも、この区別は使えます。Claudeをサイバーセキュリティ業務で使う実例では、脆弱性対応の高速化や大規模コードベースの一括修復など、完結性の高いタスクでの活用が報告されています。競技会の実測も、短時間の単発タスクでの速さを示していました。長時間の完全自律運用に踏み込むかどうかは、タスクの重要度と、途中で人間が介入できる仕組みの有無で決まる論点です。
まとめ
Opus 4で伸びたのは質で、持久力はまだ追いついていません。長いタスクを任せる設計では、区切りごとに人間が状況を見られる仕組みを残すという選択肢があります。短時間で完結するタスクは、現状でも成果を出しやすい領域です。