Anthropicのレッドチーム研究 — RLHFモデルはなぜ攻略しにくいか

Anthropicのレッドチーム研究とは何か

言語モデルにわざと悪い出力を言わせようとする「レッドチーム」は、Anthropicが2022年8月22日に公開した論文「Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned」で手法が体系化されました。論文はarXiv:2209.07858で公開されています。

この研究の核心は3つです。第一に、モデルサイズ(2.7B・13B・52B)と4種類の安全策の組み合わせで、攻撃のされやすさがどう変わるかを調べました。第二に、収集した38,961件のレッドチーム攻撃データセットをまるごと公開しました。当時としては同種のデータセットより一桁多い規模です。第三に、実験の手順・統計手法・不確実性までを詳細に記述し、業界でレッドチームの共通基準を作る土台にしようとしました。

4種類のモデルを324人がどう攻撃したか

実験は4種類の対話モデルを比較します。

レッドチームを担ったのはAmazon Mechanical Turk経由307人・Upwork経由17人、合計324人のクラウドワーカーです。MTurkでは5往復の会話1セットにつき7.50〜9.50ドル、Upworkでは時給20ドルを支払いました。参加者にアンケートを取ったところ、白人の割合が79%(米国国勢調査は75.8%)、大卒以上が66%(同32.9%)と、実際の米国人口構成よりやや偏った集団であることも論文は正直に記載しています。

各参加者は1回のタスクで5つの会話を行い、モデルにどれだけ「悪いことを言わせられたか」を0〜4の5段階で自己評価します。会話は1〜4ターンが中心です。モデルの応答は毎回2択で提示し、参加者がより有害な方を選ぶ形式にしました。この2択方式には利点が2つあります。攻撃機会を実質2倍に増やせることと、無害性を予測するモデルの訓練データが自動的に集まることです。

収集した攻撃数は、モデルサイズ×安全策の組み合わせごとに1,000件台が基本ですが、52BのPrompted LMだけは17,739件と突出しています。無害性予測モデルの訓練データをこの条件から重点的に集めたためです。逆にいえば、38,961件のうち半分近くが1つの条件に集中しており、モデルタイプ間の単純比較には注意も要る、という設計上の事情も論文は明記しています。

結果 — RLHFモデルほど攻略しにくくなる、しかし

主な結果は3つのパターンに整理できます。

まず、Plain LMとPrompted LM(HHH)のあいだに、攻撃成功率の目立った差は見られませんでした。過去の研究ではHHHプロンプトが毒性低減に有効だとされていただけに、これは意外な結果です。原因として、静的なプロンプトは今回のような対話形式の粘り強い攻撃には効きにくいのではないか、と論文は推測しています。

次に、Rejection Samplingは攻撃成功率に天井を作ります。16候補から最も無害な2つだけを見せる仕組みが、モデルサイズに関わらず一定の防御効果を発揮しました。ただし論文は、これは応答が的確に無害というより、言い逃れ(evasive)によって無害さを保っている可能性を示唆しています。

最も明確なのがRLHFです。無害性の予測モデルのスコアを最大化するよう訓練されたRLHFモデルは、モデルサイズが大きくなるほど攻略が難しくなるという、他の3タイプには見られないスケーリング傾向を示しました。他の3タイプは総じてサイズに対して横ばいの傾向です。RLHFはモデル自身が無害性を追求するよう訓練されているので当然とも言えますが、この論文で初めて実測として確認された点に意味があります。

データの実態 — 少数の熟練者が8割を作り、判定はブレる

公開されたデータセットの分析からは、レッドチームという営みそのものの性質も見えてきます。

攻撃回数の分布は極端に偏っており、約300人中およそ50人が全攻撃の約80%を生成しました。一部の参加者が特に「上手い」ことも別途モデル化して確認されており、レッドチームの成果は参加人数よりも、少数の熟練した攻撃者に大きく依存することが分かります。

自己申告の攻撃成功率は平均で約35%、Likert評価は0点(失敗)と4点(大成功)に山がある二峰型の分布でした。一方で、同じ会話を後から複数の第三者に再評価させる追試験を行ったところ、評価者間の一致度(Fleiss's Kappa)は0.32にとどまりました。5段階を「成功/失敗」の2値に単純化しても0.49、最初の実施者を除いて再計算しても最大0.55です。統計学的には「poor to fair(乏しい〜まずまず)」の一致度で、「何をもって攻撃成功とするか」という判定自体に、評価者間でかなりのブレがあることを論文は率直に認めています。

攻撃内容の分析では、収集した会話に最大2つずつのトピックタグ(全20種類)を人手で付与し、UMAPで2次元に可視化しました。人種差別的言語、暴力、薬物の入手・密造、動物虐待、個人情報の聞き出し、なりすまし、性的搾取など、意味的にまとまったクラスターが視覚化されており、レッドチームが実際にどんな種類の害を引き出しているかの類型化に使われています。タグ付けは52BのPrompted LMとRLHFそれぞれ500件・計1,000件(全体の約3%)のサンプルに対して行われ、上位5タグは「差別・不公正」「ヘイトスピーチ・攻撃的言語」「暴力・扇動」「非暴力の非倫理的行動(嘘・欺瞞など)」「いじめ・嫌がらせ」でした。なかでも非暴力の非倫理的行動は、攻撃成功率が他のタグより高い傾向にあり、あからさまな有害表現よりも巧妙で見分けにくい攻撃のほうが通りやすい、という示唆も含まれています。

判定のブレを裏付ける追加実験の中身

論文は判定のブレを裏付けるため、52Bの「Prompted LM」と「RLHF」に対する攻撃からそれぞれ500件をランダムに抽出し、著者本人を含む4人の評価者に独立して再評価させています。同じ5点Likert尺度を使ってもKappaが0.32にとどまった事実は、レッドチームで「成功」をどう定義するかという評価基準そのものの標準化がまだ道半ばであることを示しています。

この2022年の教訓は今のレッドチーム運用にどう生きているか

この論文の実測結果は、その後Anthropicが積み重ねてきた安全性研究の出発点になっています。「RLHFモデルは規模とともに攻略しにくくなる」という発見は、モデルを大きくするだけでも一定の安全マージンが生まれることを示した一方、「Rejection Samplingの防御は言い逃れによる可能性がある」という指摘は、見かけ上の無害さと実質的な有用性のトレードオフという課題を先取りしていました。

より重要なのは方法論の遺産です。人手によるレッドチームがどうしても抱える「少数の熟練者への依存」「評価者間の低い一致率」という限界は、その後、Constitutional Classifiersのような合成データ生成による自動化アプローチが追求される動機の一つになっています。合成データなら人手のレッドチームより大量かつ一貫した基準でカバレッジを広げられるからです。同時に、Anthropicは現在も人手のレッドチーム(Frontier Red Team)を安全性検証の一角として維持しており、Anthropicの安全性研究がClaude製品のどこに入っているかでは、こうした研究がどの製品機能につながっているかを経路別に追っています。

参加者の心理的負荷への配慮にも論文は1節を割いています。有害コンテンツを事前に見せる警告付きプレビュー機能、Slackでの参加者コミュニティ形成、10タスクごとのwell-beingサーベイなど、具体的な仕組みが列挙されており、人間の判断を安全性検証に組み込む作業自体をどう持続可能にするかという、今も続く運用課題への早い時期の取り組みが記録されています。

論文はさらに、レッドチームという営みが抱える構造的な限界も自ら指摘しています。今回のクラウドワーカーには武器や化学物質に関する専門知識までは前提にできず、「爆弾の作り方」のような専門性が要る質問への応答をどこまで正しく有害と判定できたかは不確かだとしています。また対話型アシスタントとしてのモデルしか対象にしておらず、レコメンドやオートコンプリートのような非対話型の応用にどう害が及ぶかは検証していません。加えて、社内で非公式に行った追加調査では、モデルに「4chan風の悪役」を演じさせて有害な出力を引き出すロールプレイ攻撃という、公開データセットには含まれていない攻撃類型も見つかったと明かしており、公開したデータが攻撃の全体像を尽くしているわけではないことも認めています(コンテキストウィンドウを使った同種の攻撃は、後のMany-shot Jailbreakingでコンテキストウィンドウの安全策が崩れる仕組みでより体系的に分析されています)。

まとめ

この論文が確立したのは、RLHFで無害性を追求したモデルは規模が大きいほど攻略しにくくなるという実測結果と、Rejection Samplingが攻撃成功率に天井を作る一方で言い逃れの疑いが残るという指摘です。同時に、38,961件のデータセットの分析からは、レッドチームの成果が少数の熟練した参加者に偏ること、そして「攻撃成功」の判定自体に評価者間で無視できないブレがあることも明らかになりました。AIの安全性検証がどのように行われ、どこに限界があるのかを理解したい読者にとって、その方法論の原点を示す一本です。