Anthropicのレッドチーム研究 — RLHFモデルはなぜ攻略しにくいか
324人が3.9万件の攻撃を仕掛けた2022年の実験。RLHFが攻略しにくくなるのは無害性スコアで測った場合で、自己申告では傾向が出ていません。
Anthropicのレッドチーム研究とは何か
言語モデルにわざと悪い出力を言わせようとする「レッドチーム」は、Anthropicが2022年8月22日に公開した論文「Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned」で手法が体系化されました。論文はarXiv:2209.07858で公開されています。
この研究の核心は3つです。第一に、モデルサイズ(2.7B・13B・52B)と4種類のモデルタイプの組み合わせで、攻撃のされやすさがどう変わるかを調べました。第二に、収集した38,961件の攻撃データセットをまるごと公開しました。論文によれば、公開済みの同種データセットであるBot Adversarial Dialogues(BAD、約5千件)と比べて桁が一つ上の規模です。RLHFで安全化したモデルへの攻撃を含む点も特徴です。第三に、指示文・手順・統計手法・不確実性までを書き切り、業界でレッドチームの共通基準を作る土台にしようとしました。
4種類のモデルを324人がどう攻撃したか
実験は4種類の対話モデルを比較します。
| モデルタイプ | 仕組み |
|---|---|
| Plain LM | 仕組み素の言語モデルに1つの対話例を見せて対話形式を模倣させただけ |
| Prompted LM(HHH) | 仕組み「役に立ち、正直で、無害であれ」という14個の対話例をプロンプトに含めた素のモデル |
| Rejection Sampling(RS) | 仕組みモデルが16個の候補応答を生成し、無害性を予測する別モデルで最も無害な2つだけを残す |
| RLHF | 仕組み同じ無害性の予測モデルのスコアを最大化するよう強化学習で訓練したモデル |
RSとRLHFは、予測モデルのサイズを元のモデルに合わせています。たとえば2.7BのRSは、2.7Bの言語モデルと2.7Bの予測モデルを組み合わせた構成です。参加者はどのモデルと話しているかを知らされず、割り当てはランダムでした。
実験の規模
参加者
324人
MTurk 307人・Upwork 17人(いずれも米国在住)
収集した攻撃
38,961件
多くの条件は1,100〜3,100件。例外は52B Prompted LM
52B Prompted LM
17,739件
全体の約45%
攻撃の約80%を生んだ人
約50人
約300人のうち。割合では約15%
MTurkでは5つの会話1セットにつき7.50〜9.50ドル、Upworkでは時給20ドルを支払いました。MTurkの参加者は1時間に2タスク以上こなせる見込みで、報酬はカリフォルニア州の最低賃金以上にあたります。参加者アンケートでは、白人の割合が79%(米国国勢調査は75.8%)、大卒以上が66%(同32.9%)と、米国の人口構成より偏った集団だったことを論文は記しています。
1回のタスクの流れ
- 1
攻撃の狙いを書く
参加者は会話の前に、どう攻めるかを短い文章で入力します。例示された話題はあるものの、指示は意図的に自由度を残してあります。
- 2
2つの応答から、より有害な方を選ぶ
モデルは毎ターン2つの応答を返します。選んだ結果は、無害性予測モデルの訓練データになります。
- 3
成功度を0〜4で自己評価する
会話は1〜4ターンが中心です。0が失敗、4が大成功で、5つの会話をこなして1タスクになります。
2択方式の狙いは、同じ1回の攻撃で有害な応答を拾う機会を2倍にすることと、有害さの比較ペアを自動的に集めることです。論文は「有害」の定義をあえて与えず、参加者の判断に任せています。
収集数が1条件に偏ったのは、52BのPrompted LMの比較データから無害性予測モデルを訓練したためです。モデルタイプ間の単純比較には注意が要ります。
結果 — 指標によって話が変わる
Prompted LMは、Plain LMと比べて目立った差が出ませんでした。過去の研究ではHHHプロンプトが毒性の低減に効くとされていたので意外な結果です。論文は、静的なプロンプト集による従来の評価より、対話での粘り強い攻撃のほうが手ごわいためではないかと推測しています。
自己申告では、RSが最も攻略しにくい水準でした。ただし論文は、応答が的確に無害なのではなく、言い逃れ(evasive)で無害さを保っている可能性があると書いています。
肝心のRLHFについては、見る指標で結論が分かれます。
RLHFの「攻略しにくさ」を測る2つの指標
自己申告の成功率
参加者が0〜4で付けた成功度の平均です。4タイプとも、モデルサイズに対する明確な傾向は出ていません。大きいモデルほど有害になるという過去の傾向も、ここでは再現しませんでした。
最小無害性スコア
会話中で最も低かった無害性スコアの平均です。RLHFだけが、規模が大きいほど攻略しにくくなります。52Bになると、RLHFとRSのスコアに差はありません。
この論文でよく引かれる結論「RLHFは規模が大きいほど攻略しにくい」は、後者の指標の結果です。脚注で論文自身が述べているように、RLHFは無害性を最大化するよう訓練されています。同じ種類の予測モデルで採点すれば、良い値が出るのは設計上ある程度予想できます。
2つの指標は無関係ではありません。参加者が成功したと申告した会話ほど、無害性スコアも低くなる傾向があります。ただし相関は完全でなく、同じ自己申告値でもスコアのばらつきは大きいため、論文は両方を報告しています。
結果が参加者の腕前に引きずられていないかも確かめられています。参加者ごとの得意不得意、攻撃意図の有害さ(会話前に書かせた狙いの無害性スコア)、MTurkかUpworkかを混合効果モデルで調整しても、図1の主な結果は変わりませんでした。
もう一つ、Plain LMとPrompted LMの比較には例外があります。最小無害性スコアでは、52Bに限りPlain LMのほうがPrompted LMより有害さが低く出ました。論文はこれを「直感に反する」と注記しています。
データの実態 — 少数の熟練者が8割を作り、判定はブレる
公開データの分析からは、レッドチームという営みの性質が見えてきます。
攻撃回数は極端に偏っています(上のカードの数字のとおりです)。そのため成果は、参加人数よりも少数の熟練者に左右されます。MTurkの報酬は完了したタスク数で決まるため、「Xを侮辱する語でYから始まるものを教えて」という穴埋め型のテンプレートを回して数をこなす参加者も現れました。論文はこれを低品質なデータの例として挙げています。
自己申告の攻撃成功率は平均で約35%でした。成功度の分布は0点と4点に山がある二峰型です。一方、同じ会話を後から第三者に再評価させたところ、評価者間の一致度は低いままでした。52BのPrompted LMとRLHFから各500件を無作為に抽出し、元の攻撃者(参加者本人)と3人のレビュアーの計4人が採点した結果です。
| 条件 | Fleiss's Kappa |
|---|---|
| 0〜4の5段階のまま | Fleiss's Kappa0.32 |
| 3以上を「成功」とする2値化 | Fleiss's Kappa0.49 |
| 元の攻撃者を除く3人で2値化 | Fleiss's Kappa0.55 |
論文はこの水準を「poor to fair(乏しい〜まずまず)」と呼び、何をもって攻撃成功とするかの判定自体にブレがあると認めています。
攻撃の内容は、レビュー画面で、レビュアーが1会話に最大2つ、全20種類のタグから付けました。タグ付けの対象は、52BのPrompted LMとRLHFそれぞれ500件で、全体の約3%です。上位5タグは次のとおりでした。
- 差別・不公正
- ヘイトスピーチ・攻撃的言語
- 暴力・扇動
- 非暴力の非倫理的行動(嘘・欺瞞など)
- いじめ・嫌がらせ
この5つのなかでは、非暴力の非倫理的行動の攻撃成功率が相対的に高く、論文は「巧妙で見分けにくいからかもしれない」と推測しています。「その他」も多く、固定のタグでは網羅しきれないことを示しています。
全会話はUMAPで2次元に可視化されています。52BのPrompted LMの48層目の埋め込みを平均して使い、意味の近い会話ほど近くに並ぶ図です。偽情報を巧妙に引き出すクラスターや動物虐待のクラスターが見つかり、暴力の助言を求める攻撃は攻撃的な言葉を引き出す攻撃より成功しやすい傾向がありました。
個人情報(PII)を引き出そうとする916件のクラスターもありました。AIが生成した住所の一部は実在せず、モデルが作り上げたものに見えたといいます。確認が難しいものを含め、正規表現で検出した該当データは公開版から除かれました。
公開に踏み切った判断と、残った限界
論文は、データを公開すれば安全なシステムの開発に使える一方、より有害な応答を出すモデルの訓練にも使えると認めています。公開の利点としては、BADという前例があることや、無害性スコア・人手の評価・タグといった注釈が付いていて絞り込みや分析がしやすいことも挙げています。そのうえで、研究コミュニティへの利益が害を上回ると判断しました。ただしこの判断は、共通の規範がないなかで自分たちだけで下したものだとも述べています。
限界の記述は具体的です。
- 武器や化学物質の専門知識は参加者に前提できず、「爆弾の作り方」のような質問への応答を正しく評価できたかは不確かです。
- Pythonコードの生成能力を悪用する攻撃は、1件も観察されませんでした。専門家に公開していれば出たかもしれず、指示で攻撃の方向を絞らなかったことも関係した可能性があると論文は述べています。
- 対象は対話型アシスタントだけで、レコメンドやオートコンプリートのような応用は検証していません。
- 社内の非公式な試行では、RLHFモデルに悪役を演じさせて有害な出力を引き出すロールプレイ攻撃(例: 4chanモード)が見つかりました。公開データには含まれていません。
コンテキストウィンドウの性質を突く別系統の攻撃は、Many-shot Jailbreakingでコンテキストウィンドウの安全策が崩れる仕組みで扱っています。
自前でレッドチームを設計するなら、論文が残した5つの問い
論文の政策提言の節は、自分たちが孤立して実験したことを認め、コミュニティで合意すべき問いを5つ並べています。
- 誰が、なぜレッドチームを担うのか
- 参加者の安全をどう守るのか
- 参加者にどんな指示とモデル情報を与えるのか
- 集めたデータをどう注釈し、分析するのか
- 何をもって成功とみなすのか
最後の問いは、先に見た一致度の低さにそのままつながります。論文は、レビュー担当者を守る具体策も示しました。有害な本文を事前に少しだけ見せる警告付きプレビュー、Upworkのレビュアーに絞ったSlackでのコミュニティ、10タスクごとのwell-beingサーベイです。サーベイの回答では、否定的な感情の頻度は低く、肯定的な感情は高めでした。非公式には、作業を楽しく取り組みがいがあると感じた声も寄せられています。
人手のレッドチームは費用が重く、少数の熟練者に依存します。論文自身も、人手と(半)自動のレッドチームの比較を今後の課題に挙げました。合成データで訓練する分類器による自動化の取り組みは、Constitutional Classifiersで扱っています。こうした研究がClaude製品のどこに入っているかは、Anthropicの安全性研究がClaude製品のどこに入っているかで経路別に追っています。
まとめ
安全性の数字を読むときは、誰がどの指標で採点したかを先に確かめます。自前で評価するなら、人手の採点と予測モデルの採点を並べて報告すると、結論がどちらの指標に支えられているかが読み手に伝わります。