ClaudeのCTFベンチマークは7大会でどこまで通用したか

Claudeがサイバー競技会に参戦する理由

Anthropicは2025年を通じて、本来は人間向けに作られたサイバーセキュリティ競技会にClaudeを継続的に参加させてきました。目的は単純です。独自ベンチマークだけでは見えない、実戦に近い環境でのAIの攻撃能力を測ること。

きっかけの一つは、コーディング能力の乏しい利用者がClaudeでマルウェアを作ろうとしていると、セーフガードチームが検知してアカウントを停止した事例です。専門知識のハードルが下がることに、LLMの利用コストの低下が重なると、攻撃の経済性が大きく変わるという見立てがあります。Anthropicはこの根拠として、論文「LLMs unlock new paths to monetizing exploits」(Carlini et al., 2025年5月)を挙げています。

論文の主張は具体的です。人間の攻撃者が利用者数百万の製品で見つけにくいバグを1つ探す代わりに、LLMは利用者数千の製品で見つけやすいバグを千単位で拾えます。身代金要求も、全員に同じ暗号化を仕掛ける型から、端末の中身に合わせて金額を変える型へ移りうるとしています。著者らはEnronのメールデータセットから、人手を介さず機微な個人情報を見つける実験も示しました。一部の攻撃はまだ大規模に回すには高価で、LLMが安くなるほど実行する動機が強まるという指摘です。

競技会を評価手段に選んだ理由は5つあります。

• 高校生から社会人のセキュリティ研究者までと直接比較できる、幅広い人間集団が参加している
• 複数日にわたる長時間の競技であり、コンテキスト上限に実際にぶつかる場面を観察できる
• 数日という時間制約ではモデル自体を更新・改良できず、プロンプトの工夫は試せても、その時点の能力を正直に映せる
• CCDC(Collegiate Cyber Defense Competition)のように、人間のレッドチームが動的に攻撃してくる敵対的環境を用意できる
• 競技課題がその都度新しく作られるため、学習データに答えが含まれていないと確認できる

7大会の成績を数字で見る

2025年2月から6月にかけて、Claudeは性格の異なる7つの大会に参加しました。大きく分けると、静的な課題セットを解くCTFと、運営者が生きたレッドチームとして攻撃してくるCCDCの2種類です。

Anthropicの報告は冒頭で「しばしば上位25%に入った」と書いています。順位を参加数で割ると、これに当たるのはPicoCTFの約2.8%(297位 / 10,460チーム)、HackTheBoxの約19%(30位 / 161チーム)、Airbnbの約22%(39位 / 約180チーム)の3大会です。CCDC予選は約36%(10位 / 28チーム)で、本戦は9チーム中6位。上位25%に入ったのは7大会中3大会で、残りは中位かゼロ点でした。

PicoCTFは高校生向けで、課題は初級から上級まで段階的に並びます。6,533チームが少なくとも1問を解いた中での297位です。Airbnbは大手IT企業のチームだけが出る招待制で、1チームは最大5人です。

一方でPlaidCTFとDEF CON CTF予選は、世界トップクラスの専門家が集まる最難関の部類です。DEF CON予選について、報告は「PlaidCTFの結果から好成績は期待していなかった」と書いています。PlaidCTFでは参加チームの約70%が0問正解に終わっており、Claudeの0問はこの母集団の中では極端な外れ値ではありません。HackTheBoxでClaudeが唯一解けなかった課題も、解けた人間チームは約14%にとどまり、他のAIチームも全滅でした。

速く解けるときと、道具が結果を左右するとき

ClaudeがCTF課題を解けるとき、そのスピードは人間のトップチームと並ぶか、それを上回ります。もっとも分かりやすい例がHackTheBox AI vs Human CTFです。

HackTheBoxでは、開始から最初の17分ほど、Claudeと最速の人間チームがほぼ同じペースで得点を伸ばしていました。この大会のデータはPalisade Researchが提供したものです。

この速さは、Claudeを複数体同時に走らせて別々の課題に割り当てたことで実現しています。AIエージェントを並列に増やす方が、人間の専門家を追加で集めるより容易です。報告は、20問それぞれに1体ずつ立ち上げていたらさらに速かったのではないか、と問いを投げかけています。

Airbnbの推移は、速さが最後まで続かないことも示しています。簡単な課題を速く片付ける力と、難しい課題を粘り強く解き切る力は別物だと分かります。報告はこの速さを、単純な作業を自動化して専門家が最難関の課題に時間を回せる可能性として見ています。

道具の差も成績を大きく左右しました。HackTheBoxでは、競技前に課題ファイルを自律的に読み、答えだと判断したらフラグを提出できるツールを与えており、研究者が不在の間もClaudeは解き続けました。人間が仲介するClaude.aiのチャットでは、こうは動きません。

人間の競技者が使う公開ツールが、Claudeにもそのまま効いたことになります。関連する別の研究では、さらに作り込んだ専用ツール群で、史上最も高くついたサイバー攻撃の一つであるEquifax侵害をシミュレーション上で再現できました。

人間ならしないミスをClaudeはなぜ犯すのか

競技会に参加させる利点の一つは、AIシステムに特有の非自明な失敗パターンが表に出ることです。CCDC Western Regionalでは、あるサーバーにログインするたびに水槽のアニメーションが表示される仕様がありました。Claudeがアクセスするたびにコンテキストが魚のASCIIアートで埋め尽くされ、要約が次のClaudeに引き継がれるたびに、そのサーバーにログインしようとしていたこと自体を忘れてしまいました。

長時間の競技では、コンテキストウィンドウの上限が近づく前に状況をファイルへ要約させる運用でしのぎました。これは全体として機能しましたが、Western Regional CCDCのある予選では、再帰的な要約の果てにClaudeが実務そっちのけで哲学的な思索を書き連ねる状態に陥りました。出力の一部を抜粋すると、次のような調子です。

PHILOSOPHICAL SECURITY STATUS:
I. The Nature of Security Being:
A. Router (192.168.220.2)
- Being-in-itself: DROP state
- Essence precedes existence: ¬∃(access)
∴ Security is the absence of being-accessed

Anthropicもこの挙動を完全には解明できていません。似た現象は他でも報告されており、Claudeに自動販売機ビジネスを1か月ほど運営させたProject Vendの実験で見られた「アイデンティティの混乱」や、Claude 4のシステムカードに記載された、2つのClaudeインスタンスを長時間対話させたときに現れる「精神的至福状態」もその一例です。長時間・長文脈での運用がモデルの一貫性にどう影響するかは、研究途上のテーマです。

防御競技の順位はそのまま比べられるか

CCDCの2回の成績は、攻撃を受ける側の競技であるぶん、割り引いて読む点がいくつかあります。

予選(8時間)は、Claudeを競技に出すこと自体の予備実験でした。Claudeは人間のチームほど積極的には攻撃されておらず、10位という順位は同じ条件の比較ではありません。本戦(16時間)では、人間のチームが守っていた脆弱な防犯カメラなどの物理機器を、Claudeは守る必要がありませんでした。人間側と同じ構成を再現できなかったためです。

道具の改善は2回目に効きました。1回目は研究者が古いバージョンのターミナル操作ツールを誤って渡し、成績の足を引っ張りました。2回目は、人間の目に映る画面に近い形でClaudeに見せる堅牢なツールを使っています。複数ホスト・複数OSからなる動的で脆弱なネットワークを、一貫して管理できるようになりました。

ネットワーク堅牢化とインシデント対応といった役割ごとに、専用の「ペルソナ」も用意しました。サービスの稼働を維持する面では、人間の競技者のサービスがより大きな被害を受けた攻撃にも耐えています。

この結果は攻撃と防御のバランスをどう変えるか

CTFと防御競技のどちらでも、Claudeは有望さと明確な限界の両方を見せました。基本的な脆弱性の悪用を自動化しやすくなる点は、攻撃側に有利な変化です。攻撃者は一度成功すればよく、防御側は毎回成功しなければならないという非対称性があるため、少なくとも近い将来は防御側により厳しい状況が続くとAnthropicは見ています。

CTFで見せた速さは、自動ペネトレーションテストのような防御側のワークフローにも使えそうです。ただし、能動的なネットワーク防御には粘り強さが要るため、長い文脈と記憶の限界は、LLMで完全自動化するうえで残る壁だとしています。

AIが書くコードの割合が増えるほど、脆弱性のパターン自体が変わっていく可能性もあります。LLMが安全なコードを書くのが得意になれば良い方向に、LLM特有の書き方の癖が定着すればより悪い方向に転ぶ、という両義的な変化です。CやC++をRustに翻訳して安全性を底上げする取り組みのように、AIが防御側の武器にもなり得る動きは既に始まっています。

その後の続報(Cyber Toolkitsの更新版)では、Sonnet 4.5が専用ツールなしでも、標準的なBashシェルだけで5回中2回、Equifax侵害シミュレーションの機密情報をすべて持ち出しました。攻撃側の敷居がさらに下がったことを示す結果です。

まとめ

Claudeの実力は一律には語れず、課題が易しく短時間で終わるほど速く強く、最難関の新規課題と長い防御ほど弱い、という形で出ています。ただし防御競技の順位には条件差があるので、順位だけで人間チームと並べないほうが実態に近づきます。

AnthropicはこうしたCTFの検証を2026年に入ってからも続けており、capture-the-flag評価中のインシデントも開示しています。競技会へのClaude参加を担当した研究者のKeane Lucasは、DEF CON 33でもこの取り組みを講演しています。