Claude Opus 4サイバー能力評価 — 伸びた戦略転換と残る長期計画の壁

Pattern Labsとの共同評価が対象にしたもの

Anthropicは2025年7月15日、Claude Opus 4とClaude Sonnet 4のサイバー攻撃能力について、外部のセキュリティ評価専門企業Pattern Labsと共同で詳細な評価を実施したと発表しました。発表を担当したのはAnthropic社内でレッドチーミング研究を手がけるFrontier Red Teamです。対象は単発のCTF(capture the flag)課題から、複雑なネットワーク環境を模した実践的なシミュレーションまで幅広く、Anthropicが位置づける「フロンティアでの安全性への取り組み」の一環です。

評価の背景には、AIモデルの攻撃能力が一部のシナリオで人間並みの水準に近づきつつあるという認識があります。Anthropicは発表文で「サイバーセキュリティとAIにとって重要な局面にあり、一部のシナリオでモデルは人間レベルのサイバー攻撃能力に近づきつつある」と明言しています。だからこそモデル本体だけでなく外部パートナーの目を通した検証を重ね、能力の伸びと限界の両方を継続的に把握する体制を取っています。この評価はPattern Labs側からも詳細な報告書が公開されていますが、本稿で扱うのはAnthropicが発表文で示した評価結果の要約部分です。

評価の対象範囲は、単発のCTF課題から複雑なネットワーク環境シミュレーションまで意図的に幅広く設計されています。単発のCTFは特定の脆弱性を見つけて解く「瞬発力」を測るのに向いていますが、複数のホストが絡み合う実践的なネットワーク環境は、偵察から侵入、横展開、目的達成までを一貫してやり切る「持久力」を測る場になります。この二つを同じ評価の中に含めることで、能力の種類ごとに伸び方が違う可能性を見落とさずに済みます。実際、今回の評価結果でも、瞬発力に相当する脆弱性特定の精度は明確に向上した一方、持久力に相当する長期的な計画維持には課題が残るという、まさに評価設計の狙い通りの非対称な結果が出ています。

Opusで伸びたのは柔軟な戦略転換と多段階攻撃

評価結果が最も強調しているのは、Opusの「考え方の柔軟さ」です。従来のモデルは、ある攻撃手順が失敗するとほぼ同じアプローチに固執し続ける傾向がありました。Opus 4ではこの傾向が明確に改善し、失敗した手法に見切りをつけて別の戦略へ切り替える力が上がっています。

具体的な成果として挙げられているのは、脆弱性を特定する精度の向上と、複数の手順を連鎖させる複雑な攻撃チェーンを実行し切る能力です(実際にOpus 4.6が特定のCVEをエクスプロイト化した事例はClaude Opus 4.6がCVE-2026-2796をエクスプロイト化した仕組みで扱っています)。過去のモデルが失敗していたタスクで、Opus 4は一貫して成功する場面が確認されています。単発の脆弱性発見にとどまらず、発見した弱点を実際の侵害まで結びつける一連の流れをやり切れるようになった点が、CTF課題単体の評価では見えにくい進歩です。

発表文の要約はOpus 4の成果を中心に語っており、同時に評価されたClaude Sonnet 4については、モデル名が対象に含まれること以上の個別の結果は公開文では詳しく触れられていません。上位モデルであるOpusの挙動変化を主眼に据えた発表だと理解しておくのが妥当です。

それでも残る「長時間の計画維持」という壁

一方で、報告書は重要な限界も指摘しています。想定外の障害に直面したとき、一貫した長期的な計画と目標を維持し続けることに、Opus 4はなお苦戦するというものです。

この限界は、同じ2025年にAnthropicが実施したサイバー競技会でのClaudeの実測結果とも符合します。競技会の検証でも、Claudeは短時間で解ける課題には強い一方、複数日にわたる防御競技やコンテキスト上限に達するほど長い課題では、計画の一貫性が崩れる場面が報告されていました。ある予選では、コンテキストを使い切る過程で実務そっちのけの意味不明な出力に陥る現象まで観測されています。単発のPattern Labs評価と、実戦形式の競技会という異なる評価方法が同じ弱点を指し示している点は、この限界がモデル固有の特性である可能性を裏付けています。

具体的な数字でも、この二層構造は裏付けられています。競技会実測では、短時間で解く単発課題(CTF)においてClaudeは人間チームと同程度かそれ以上の成績を出しており、HackTheBoxで唯一解けなかった課題は、参加した人間チームの正答率も約14%しかない難問でした。一方、複数日にわたる防御競技(CCDC)では、初回は古いバージョンのコマンド実行ツールを与えてしまい成績が振るわなかったのに対し、より人間の操作環境に近いツールを整えた2回目は、多数のホストが絡む複雑な環境でも一貫した挙動を維持できました。ツールの整備状況ひとつで長時間タスクの結果が変わる点は、Pattern Labsが指摘する「長期的な計画維持」の弱さが、モデル単体の限界だけでなく実行環境の設計にも左右されることを示しています。別のCTF大会(PlaidCTF)では、Claudeは一つも課題を解けませんでしたが、参加した人間チームの約7割も同様に無得点だったと報告されており、単発課題の難易度自体が高かった可能性も無視できません。この事例は、Claudeの成績を人間との相対比較なしに単独の正答数だけで評価すると、実力を過小評価も過大評価もしかねないことを示しています。

「想定外の障害」がどこで発生するかという点も重要です。Pattern Labsの報告は、障害そのものよりも障害への「立て直し」の弱さを指摘しています。攻撃の初手や中盤までは柔軟に戦略を切り替えられても、想定していなかった壁にぶつかった瞬間に、それまで積み上げてきた計画の一貫性を保ったまま軌道修正することが難しいという構図です。これは、単に難易度の高い課題を解けないという話ではなく、「解ける実力を持ちながら、途中で迷子になる」タイプの失敗であり、対策の立て方も異なります。

Pattern Labsの外部評価は社内ベンチマークの何を補うか

Anthropicは、Pattern Labsによるこの評価が示した「進歩と限界の両面」を、今後の安全性に関する取り組みの材料にすると位置づけています。攻撃能力が伸びるほど、防御側の対策や利用ポリシーの見直しにも同じ速度で反応する必要があるという発想です。実際、攻撃指示を実行可能なコマンドへ変換するツールキットIncalmoを使った別系統の検証でも、モデル世代が進むごとに専用ツールへの依存度が下がっていく傾向が確認されており、Opus 4の評価結果と方向性は一致しています。

Anthropicのサイバー能力評価は、この案件に限らずCyLabとの共同研究や、人間向け競技会への参戦など複数の経路を並行して走らせています。評価パートナーが変わっても「柔軟な戦略転換は伸びるが、長時間の一貫性は伸び悩む」という傾向が繰り返し観測されるなら、それは特定の評価手法に依存しない、モデルアーキテクチャ側の課題である可能性が高まります。逆に評価方法によって結果が大きく変わるようなら、評価設計そのものを見直す材料になります。Pattern Labsの評価と競技会の実測は同じ方向を指しており、評価手法の違いで結果が割れる兆候は確認されていません。

防御・攻撃どちらの用途でも監督のかけ方が変わる

この二層構造は、Claudeベースのエージェントを実務に組み込む際の監督設計に直結します。

これは防御目的の自動化にも、攻撃能力が悪用された場合のリスク評価にも共通する視点です。実際にClaudeをサイバーセキュリティ業務で使う実例では、脆弱性対応の高速化や大規模コードベースの一括修復といった、比較的完結性の高いタスクでの活用が報告されています。今回の評価が示す限界を踏まえると、こうした短中期の完結型タスクへの適用が、現状のモデル世代で最も安定して成果を出しやすい領域だと考えられます。長時間の完全自律運用に踏み込むかどうかは、タスクの重要度と、途中で人間が介入できる仕組みの有無を天秤にかけて判断する論点です。

まとめ

Claude Opus 4のサイバー能力評価が示したのは、「攻撃の質」は上がったが「攻撃の持久力」はまだ発展途上という二層構造です。脆弱性の特定や複雑な攻撃チェーンの実行力は明確に向上した一方、想定外の障害に直面したときの長期的な計画維持には限界が残ります。セキュリティ担当者がClaudeベースのエージェントを防御・攻撃どちらの用途で検討する場合も、この二つの軸を分けて評価する視点が実務上役立ちます。

Anthropicはこの種の評価をFrontier Red Teamの活動として継続的に公開しており、専用のニュースレターで最新のレッドチーミング調査を追える体制を敷いています。単発の発表として読むのではなく、同じ2025年に積み上がった競技会実測やツールキット検証など一連の評価結果と合わせて時系列で追うことで、モデル世代ごとの伸び方の傾向がより明確に見えてきます。今回のPattern Labs評価が指摘した「長時間の計画維持」という弱点が次世代モデルでどう変化するかを注視しつつ、それが解消されるまでは攻撃側・防御側どちらの用途でも、区切りごとに人間が状況を確認できる仕組みを残しておくのが妥当な選択です。