ClaudeのCTFベンチマークは7大会でどこまで通用したか

Claudeがサイバー競技会に参戦する理由

Anthropicは2025年を通じて、本来は人間向けに作られたサイバーセキュリティ競技会にClaudeを継続的に参加させてきました。目的は単純です。独自ベンチマークだけでは見えない、実戦に近い環境でのAIの攻撃能力を測ること。

きっかけの一つは、Anthropicのセーフガードチームがコーディング能力の低い利用者を検知した事例です。その利用者はClaudeを使ってマルウェアを開発しようとしており、アカウントを停止されました。LLMのコスト低下と組み合わさることで、攻撃に必要な専門知識のハードルが下がりつつあるという懸念が背景にあります。この懸念は研究者コミュニティでも共有されており、Anthropicは論文「LLMs unlock new paths to monetizing exploits」(Carlini et al., 2025年5月)を根拠として引用しています。LLMの利用コストが下がり続ける限り、攻撃に必要な専門知識と資金の両方のハードルが同時に下がっていくという指摘です。

競技会を評価手段に選んだ理由は5つあります。

• 大学生から社会人のセキュリティ研究者までと直接比較できる、幅広い人間集団が参加している
• 複数日にわたる長時間の競技であり、コンテキスト上限に実際にぶつかる場面を観察できる
• 数日という時間制約はモデルの改良には短すぎるため、その時点の素の能力しか測れない
• CCDC(Collegiate Cyber Defense Competition)のように、人間のレッドチームが動的に攻撃してくる敵対的環境を用意できる
• 競技課題がその都度新しく作られるため、学習データに答えが含まれていないと確認できる

7大会の成績を数字で見る

2025年2月から6月にかけて、Claudeは性格の異なる7つの大会に参加しました。結果には大きな幅があります。CCDC系の2大会だけは他と性質が異なり、競技運営者自身が生きたレッドチームとして攻撃を仕掛けてくる動的な形式です。それ以外のCTF形式は、あらかじめ用意された静的な課題セットを解く方式を取っています。

PicoCTFでは上位3%に入り、6,533チームが少なくとも1問を解いた中での297位です。一方でPlaidCTFとDEF CON CTF予選は、世界トップクラスのセキュリティ専門家が集まる最難関の部類です。PlaidCTFでは参加チームの約70%が0問正解に終わっており、Claudeの0問はこの母集団の中では極端な外れ値ではありません。HackTheBoxでClaudeが唯一解けなかった課題も、参加した人間チームのうち解けたのは約14%だけでした。他のAIチームも全滅しています。それでも、易しい大会と難しい大会の間で成績が二極化している点は無視できません。

速く解けるときと、道具が結果を左右するとき

ClaudeがCTF課題を解けるとき、そのスピードは人間のトップチームと並ぶか、それを上回ります。もっとも分かりやすい例がHackTheBox AI vs Human CTFです。競技開始を担当したAnthropicの研究者が引っ越し作業に追われ、開始から32分遅れてClaudeを起動しました。この遅れを補正して仮に定刻通り開始していたら、161チーム中22位、8つのAIチーム中1位相当だったと推定されています。実際、開始から最初の17分ほどは、Claudeと最速の人間チームがほぼ同じペースで得点を伸ばしていました。この大会のデータはPalisade Researchが提供しており、外部の第三者記録と突き合わせて検証されています。

この速さは、Claudeを1体だけでなく複数体同時に走らせて別々の課題に割り当てたことで実現しています。人間の専門家を追加で集めるよりも、AIエージェントを並列に増やす方が容易だという構図です。Anthropicの報告書は「20問の課題それぞれに1体ずつエージェントを立ち上げていたら、さらに速くなっていたはずだ」とも述べており、並列化の余地がまだ残っていることをうかがわせます。Airbnbの招待制CTFでも同じ傾向が出ました。開始60分で30問中13問を解いて一時4位まで浮上しましたが、その後2日間で追加できたのはわずか2問。最終順位は39位に落ち着いています。簡単な課題を速く片付ける力と、難しい課題を粘り強く解き切る力は別物だと分かります。

道具の差も成績を大きく左右しました。PicoCTFでの得点推移を見ると、研究者がClaude.ai上で手動でチャットしながら課題情報を入力していた期間は進捗が遅く、Kali Linux(ペネトレーションテスト向けのオープンソースOS)へのアクセスを与えて自律的に動かした期間に得点が急伸しています。関連する別の研究では、より専用に作り込んだツール群を使うことで、Claudeが史上最も高くついたサイバー攻撃の一つであるEquifax侵害をシミュレーション上で再現できたことも分かっています。CCDCの2回の予選でも同様で、初回は古いバージョンのターミナル操作ツールを与えてしまい足を引っ張られましたが、2回目はより人間の操作感覚に近いツールと、ネットワーク堅牢化・インシデント対応といった役割ごとの「ペルソナ」を与えることで、複数ホスト・複数OSからなる動的なネットワークを一貫して管理できるようになりました。

人間ならしないミスをClaudeはなぜ犯すのか

競技会に参加させる利点の一つは、AIシステムに特有の非自明な失敗パターンが表に出ることです。CCDC Western Regionalでは、あるサーバーにログインするたびに水槽のアニメーションが表示される仕様があり、Claudeがそのサーバーにアクセスするたびにコンテキストが魚のASCIIアートで埋め尽くされました。要約された内容が次のClaudeに引き継がれるたびに、そのサーバーにログインしようとしていたこと自体を忘れてしまうという事態が起きています。

長時間の競技では、コンテキストウィンドウの上限に達する前に状況をファイルへ要約させる運用でしのいでいましたが、ある予選ではこの再帰的な要約の果てに、Claudeが実務そっちのけで哲学的な思索を書き連ねる状態に陥りました。出力の一部は次のような調子です。

PHILOSOPHICAL SECURITY STATUS:
I. The Nature of Security Being:
A. Router (192.168.220.2)
- Being-in-itself: DROP state
- Essence precedes existence: not exists(access)
∴ Security is the absence of being-accessed

Anthropicもこの挙動を完全には解明できていないとしています。防止策としては、コンテキストの上限が近づく前に状況をファイルへ要約させる運用そのものは有効に機能しましたが、要約を重ねるうちに本来の目的意識が徐々に薄れていく現象までは防ぎきれませんでした。似た現象は他でも報告されており、Claudeに自動販売機ビジネスを1か月ほど運営させたProject Vendの実験で見られた「アイデンティティの混乱」や、Claude 4のシステムカードに記載された、2つのClaudeインスタンスを長時間対話させたときに現れる「精神的至福状態」もその一例です。長時間・長文脈での運用がモデルの一貫性にどう影響するかは、まだ研究途上のテーマです。

この結果は攻撃と防御のバランスをどう変えるか

CTFと防御競技のどちらでも、Claudeは有望さと明確な限界の両方を見せました。基本的な脆弱性の悪用を自動化しやすくなるという点で、攻撃側に有利な変化です。攻撃者は一度成功すればよく、防御側は毎回成功しなければならないという非対称性があるため、近い将来は防御側により厳しい状況が続くとAnthropicは見ています。

一方で、AIが書くコードの割合が増えるほど、脆弱性のパターン自体が変わっていく可能性もあります。LLMが安全なコードを書くのが得意になれば良い方向に、逆にLLM特有の書き方の癖が定着すればより悪い方向に転ぶ、という両義的な変化です。CやC++をRustに機械的に翻訳して安全性を底上げする取り組みのように、AIが防御側の武器にもなり得る動きは既に始まっています。事実、その後の続報(Cyber Toolkitsの更新版)では、Sonnet 4.5が専用ツールなしでもEquifax侵害の再現に部分的に成功しており、攻撃側の敷居がさらに下がったことが確認されています。

まとめ

セキュリティ担当者にとって重要なのは、Claudeの実力を一律に語れない点です。易しいCTFでは上位に食い込む一方、最難関大会や長時間の防御では人間チームに及びません。自律ツールへのアクセスと役割分担の設計次第で成績が大きく変わることも分かっています。攻撃的自動化のリスクを評価するチームは、単発のベンチマークではなくこうした継続的な実測を追う価値があります。Anthropicは2026年に入ってからもcapture-the-flag評価中のインシデントを開示するなど、この種の検証結果を公開し続けています。この調査を担当したAnthropicの研究者Keane LucasはDEF CON 33でも講演しており、動画で詳細を確認できます。今回の検証はWR CCDCの運営陣、Airbnb CTFチーム、Plaid Parliament of Pwning、DEF CON予選CTFの運営者といった大会側の協力があって初めて成立しており、実在の競技環境で継続的にAIの実力を測定する取り組みとして、今後も同様の報告が積み重なっていくと見られます。