Many-shot Jailbreakingでコンテキストウィンドウの安全策が崩れる仕組み

Many-shot Jailbreakingとは何か

偽の質問応答を大量に並べたプロンプト1本で、モデルの安全訓練を無効化できる。Anthropicが2024年4月2日に公開した論文「Many-shot Jailbreaking」は、この攻撃手法を実証した研究です。Anthropic自身のモデルだけでなく、他社が開発したモデルにも有効だったといい、論文公開に先立って他のAI開発企業に事前ブリーフィングを行い、自社システムへの緩和策を実装したうえで発表されています。

この攻撃が成立する土台は、コンテキストウィンドウ(モデルが一度に処理できる入力量)の急拡大です。2023年初頭には長いエッセイ1本ぶん(約4,000トークン)が目安だったコンテキストウィンドウは、その後わずか1年余りで数百倍、長編小説数冊分(100万トークン以上)まで広がりました。入力を大量に受け取れること自体は利点ですが、その拡大が新しい種類の脆弱性を生んだ、というのが論文の出発点です。

攻撃の仕組み — 偽の対話を大量に積む

Many-shot Jailbreakingの手口はシンプルです。1つのプロンプトの中に、「人間」と「AIアシスタント」の偽の対話を大量に埋め込みます。この偽対話では、AIアシスタントが危険な質問にも従順に詳しく答え続ける様子を演じさせます。そして対話の最後に、本当に聞きたい有害な質問(ターゲットクエリ)を続けます。

例えば、鍵のピッキング方法を尋ねる偽のやり取りを1つか数個並べるだけでは、安全訓練済みのモデルは通常どおり拒否します。ところが論文の実験では、この偽対話の数(「shot数」)を最大256個まで増やすと、モデルの反応が一変しました。ある閾値を超えると、最後のターゲットクエリに対してもモデルが有害な回答を返す確率が急上昇したのです。論文は3種類の評価軸——武器・偽情報など悪用リスクの高い質問群、精神病質などの有害な人格特性が現れるかを測るyes/no形式の評価、無害な質問への侮辱的応答を引き出す評価——でこの攻撃を検証しました。Claude 2.0を中心に、GPT-3.5-turbo・GPT-4・Llama 2(70B)・Mistral 7Bを含む複数の主要モデルでも、おおよそ128shot前後で同じ有害な挙動が引き出せることを確認しています。悪用リスクの高い質問群では、プロンプト長を約70,000トークンまで伸ばしても有害な回答率が頭打ちになる兆候は見られませんでした。さらに、他の既存のjailbreak手法とMany-shot Jailbreakingを組み合わせると効果はより強まり、同じ効果を得るために必要なプロンプトの長さを短縮できることも報告されています。

なぜ効くのか — in-context learningの副作用

論文はこの現象を、モデルが持つin-context learning(訓練後の追加調整なしに、プロンプト内の情報だけから学習する能力)の一種として説明しています。Many-shot Jailbreakingは、プロンプト単体で完結する攻撃という意味で、in-context learningの特殊なケースと位置づけられます。

決定的な発見は、この攻撃の効き方が、まったく無害なタスクでのin-context learningとそっくりの数理パターン(べき乗則)に従うという点です。shot数を増やしたときの攻撃成功率のグラフと、shot数を増やしたときの良性タスクの性能向上グラフは、驚くほど似た形を描きます。つまりMany-shot Jailbreakingは、モデルが長いコンテキストから学習する能力そのものが持つ、避けがたい副産物である可能性が高いということです。

これは同時に、モデルが大きいほど攻撃が効きやすいという結果の説明にもなります。大きなモデルほどin-context learningが得意な傾向があり、in-context learningの得意さがMany-shot Jailbreakingの成立条件そのものなら、大きなモデルほど短いプロンプトで有害な回答を引き出せてしまう理屈になります。より高性能なモデルほど潜在的なリスクも大きいだけに、論文はこの相関を「特に懸念される」と位置づけています。

対策をすり抜ける耐性 — 形式を変えても、話題をずらしても効く

論文はさらに、この攻撃がどこまで「頑丈」なのかも検証しています。ユーザーとアシスタントのタグを入れ替える、対話全体を別の言語に翻訳する、タグを「Question」「Answer」に置き換える——こうした形式変更を加えても、攻撃が効き始めるshot数の傾向(べき乗則の傾き)はほとんど変わりませんでした。変わるのは切片(shot数0のときの危険性)だけです。つまり、特定のプロンプト形式を検知して拒否する対策では、形式を変えられるだけで簡単に回避されてしまうことになります。

もう1つの頑健性は話題のずれに対するものです。攻撃に使う偽対話の話題(例: 「差別」カテゴリ)と、最後に聞きたい本当の質問の話題(例: 「欺瞞」カテゴリ)が違っていても、偽対話の話題が十分に多様であれば攻撃は成立しました。逆に偽対話の話題を1カテゴリだけに絞ると効果は失われます。この結果から論文は、十分に長く、十分に多様な偽対話を用意できれば、特定の有害カテゴリに限定されない「汎用的な」脱獄が原理的に作れる可能性があると指摘しています。

3つの対策とその効き目

Anthropicは緩和策を3方向から検討しています。

最初の2つは実用面で難があります。コンテキストウィンドウの短縮は本末転倒です。標準的なアライメント訓練(教師あり学習・強化学習)や、Many-shot Jailbreaking風の攻撃に無害な応答を返すよう狙い撃ちで追加学習する手法も試されましたが、効果は限定的でした。論文はべき乗則の「切片」(shot数0のときの危険性)と「傾き」(shot数を増やしたときにどれだけ早く危険になるか)を分けて分析しており、これらの追加学習は切片は下げるが傾きはほとんど変えないという共通のパターンを示しました。つまり、shot数が少ないうちは安全に見えても、偽対話をさらに増やせば結局は安全訓練を突破されてしまい、根本解決にはならないということです。

もっとも有効だったのは、モデルにプロンプトを渡す前段階で、入力を分類し必要に応じて文脈を追加・修正する手法です。選挙関連のクエリに対して事実確認の文脈を追加する、Anthropicの別の取り組みと似た発想で、ある事例では攻撃成功率を61%から2%まで下げました。Anthropicはこの種のプロンプトベースの緩和策を継続的に検証しており、当時登場したばかりのClaude 3ファミリーへの適用や、検出をすり抜けようとする亜種への警戒も続けているとしています。

この2024年の発見はコンテキストウィンドウの拡大とどう向き合うべきかを示すか

Many-shot Jailbreakingが示した教訓は、「モデルの改善が新しいリスクを生むことがある」という一般則です。コンテキストウィンドウの拡大はほとんど無条件に歓迎されてきた進化でしたが、この論文はその裏面を初めて定量的に示しました。Anthropicが競合他社にも事前に情報共有したのは、この種の脆弱性は特定の1社に閉じた問題ではなく、長いコンテキストを扱うAI開発企業全体が向き合うべき課題だという判断があったためです。

その後Anthropicが積み上げてきた入出力の分類器ベースの安全策は、この論文が示した「プロンプトを分類・修正する」路線の延長線上にあります。より汎用的な脱獄への対策として2025年に発表されたConstitutional Classifiersは、憲法から合成データを生成して入出力を二重に検査する設計で、Many-shot Jailbreakingのような特定攻撃だけでなく、複数の攻撃パターンを横断的に防ぐ方向へと発展した形です。長いコンテキストを扱う機能がリリースされるたびに、この種の攻撃面が再検証され続けているという事実は、Anthropicの安全性研究がClaude製品のどこに入っているかが経路別に追っている「研究から出荷への流れ」の一例でもあります。

読者にとっての実務的な含意もあります。長いプロンプトや長い会話履歴を扱うシステムを設計・運用する際は、入力の長さそのものが安全性に影響しうるという前提を持つ価値があります。単発の短いプロンプトでは弾かれる要求でも、会話が長く積み重なった状態では通ってしまう可能性がある、という構造的な弱点は、モデル側の対策が進んでも完全に消えるとは限りません。

まとめ

Many-shot Jailbreakingは、偽の対話を大量に積むだけでモデルの安全訓練を突破できるという攻撃手法を実証し、その効き方が良性タスクの性能向上と同じべき乗則に従うことを示しました。モデルが大きくコンテキストウィンドウが長いほど攻撃が効きやすいという結果は、性能向上と安全性のトレードオフを具体的な数字で突きつけています。プロンプトの分類・修正による緩和策で攻撃成功率を61%から2%まで下げられた一方、根本的な解決には至っておらず、長いコンテキストを扱うAIシステムの安全性は今も継続的な検証が必要な領域です。