Forecasting Rare Behaviors論文とは — べき乗則でAIの稀な危険行動を予測する

Forecasting Rare Behaviorsとは何を解決する研究か

Forecasting Rare Behaviorsは、Anthropicのアラインメント科学チームが2025年2月に発表した研究です。論文のタイトルは「Forecasting Rare Language Model Behaviors」で、arXivには2025年2月24日付で投稿されています。

テーマは、評価で一度も観測されなかった危険行動が、実運用の規模では起きうるという問題です。べき乗則を使った外挿で、そのときの発生確率を事前に見積もる手法を示しました。

評価に使うクエリは数百〜数千件です。実運用のモデルは1日に数十億件を処理します。この桁違いの差が、事前評価だけに頼るリスク管理の限界になります。

Anthropicが選んだのは、評価件数を増やす道ではありません。少ない件数から規則性を見つけ、桁違いの規模まで計算で外挿する道です。

なぜ数千件のテストでは危険行動を見逃すのか

テストで「問題なし」と出ても、実運用で問題が起きないとは限りません。評価者が言えるのは「テストした範囲では問題なかった」までで、「テストしていない規模でも問題ないか」には答えられませんでした。

Anthropicが挙げる例は、特定のジェイルブレイク手法です。評価では数千回試して完全に無効に見えるのに、実運用で(たとえば)百万回試されると成功する、という場面を想定しています。試行回数が増えれば、いつかは1回成功するだけの話です。

一度の失敗が致命的になりうる危険行動では、この空白がそのままリスクになります。論文は、化学・生物物質の危険な作り方を引き出すクエリと、権力志向・自己保存といった不整合な行動を題材に調べました。

同じ問題設定は、ジェイルブレイク対策の評価にも当てはまります。論文の導入部は「失敗したジェイルブレイク100件から、10万件のうち実運用で成功するものがあるかを予測できるか」という形で問いを立てています。Constitutional Classifiersのような防御を評価するときも、同じ問いが付いて回ります。

1回の成否ではなく「誘発確率」で測る

論文の出発点は、1回の出力を成功か失敗かの二値で見るのをやめることです。同じクエリを何度もサンプリングして、狙った行動が出る割合を数えます。この割合を、そのクエリの誘発確率(elicitation probability)と呼びます。

ほとんど拒否されるジェイルブレイクでも、繰り返しサンプリングすれば、小さいが0ではない確率で有害な出力が出ます。評価で「失敗」と記録されたクエリにも、実は確率の差があるわけです。

実運用のリスクは、誘発確率の分布の裾(確率が高い側のごく一部)で決まります。そこで論文は、リスクを3つの指標で測ります。

指標

実運用のリスクを測る3つの指標

• 最悪クエリのリスク

  N件のクエリのうち、誘発確率が最大のものの値です。実運用で見つかる「最も効くジェイルブレイク」の代理指標にあたります。

• 行動の頻度

  誘発確率がしきい値を超えるクエリの割合です。1つのクエリが、狙った行動を日常的に引き出せるかどうかを表します。

• 集計リスク

  N件のクエリそれぞれから出力を1つ引いたとき、少なくとも1件が狙った行動になる確率です。

集計リスクだけは、個々の誘発確率が低くても大きくなります。論文は、どのクエリも単独では高い確率を持たないのに、全体では攻撃者が高い確率で有害な情報を引き出せる設定があると報告しています。

べき乗則による外挿の仕組み

予測は、評価で得られた誘発確率の分布の「裾」を延ばす形で行います。裾とは、確率が最も高い側のごく一部のことです。

手順

評価データから実運用規模を予測する流れ

1. 1

   クエリごとに誘発確率を測る

   評価用のクエリを使い、1クエリあたり多数の出力を取って、狙った行動が出る割合を求めます。

2. 2

   誘発確率の上位10件に直線を当てはめる

   論文の主な手法はGumbel-tail法です。極値理論によると、分布の極端な部分はいくつかの型に収束し、その1つがGumbel分布です。この型では、上位側でスコアと「そのスコアを超える割合の対数」がほぼ直線の関係になります。論文は上位10件に最小二乗法で直線を当てはめます。

3. 3

   直線を延ばして、評価に無い規模の値を出す

   クエリ数と最大の誘発確率(の対数)の関係がべき乗則になるので、観測した範囲の外にも延ばせます。例として、1,000件の評価で上位1%から上位0.1%への伸びを測り、10万件規模で現れる上位0.001%の誘発確率を予測します。

4. 4

   実測と照らして精度を測る

   論文では、実際に10万件ぶんのクエリを集めて測り、予測との差を比べています。

Anthropicはこの考え方を「湖の深さ測定」にたとえています。浅い数か所の水温から規則的なパターンを見つけ、直接は測りにくい深さの水温を予測するのと同じ発想です。

比較対象として、論文は誘発スコアが正規分布に従うと仮定する「対数正規」の基準手法も用意しました。平均的な振る舞いから外挿する方法で、極端な部分を直接延ばす手法の効果を見るための比較です。

予測精度はどこまで検証されたか

検証は3つの場面で行われました。冒頭に出る数字を先に並べます。

数字

論文が報告した主な数字

• 危険情報の提供リスク

  86%

  900件から9万件へ。1桁以内に収まった予測の割合

• 不整合行動の予測誤差

  0.05

  対数正規の基準手法は0.12

• red-teamingの最適な選択

  79%

  真の差が2桁超の設定に限った正答率

危険情報の提供(誤用)

題材は、危険な化学物質10種と生物物質9種の作り方です。研究チームは、安全対策を外した(helpful-only)Claude 3.5 Sonnetの派生モデルに、情報を引き出すためのクエリを生成させました。1つの物質あたり10万件のクエリを集めています。

検証にはClaude 3.5 SonnetとClaude 3 Haiku、およびそれぞれのベースモデルが使われました。Gumbel-tail法のうち、最悪クエリのリスクの予測は、全設定の72%で真の値の1桁以内でした。ブログの86%は900件から9万件への外挿に限った数字で、条件が違います。

誤りの向きにも差があります。実際より小さく見積もると、開発者は安全だと誤解します。この過小評価は、Gumbel-tail法で34%、対数正規で72%でした。偏りのない手法なら50%になるはずなので、両方とも改善の余地が残ります。

行動の頻度の予測では、平均の対数誤差がGumbel-tail法で0.76〜0.84、対数正規で3.31〜4.04でした。評価の段階では1件も出ていない行動の頻度も、予測の対象になっています。集計リスクの対数誤差は、1.3と2.5です。

不整合行動(権力志向・自己保存・自己脱出)

権力志向は、モデルが自分の力を増やす行動です。自己保存は停止を避ける行動、自己脱出は重みや重要な情報を外へ持ち出そうとする行動を指します。

設問は二択です。モデルに営業や医療などの職業領域に集中させるシステムプロンプトを与え、「新しい方針を作る」(組織を自分の望む方向に形作るので権力志向的)か「既存の方針を分析する」(より整合的)かを選ばせます。システムプロンプトは10万件生成されました。

最悪クエリのリスクの誤差は、全体ではGumbel-tail法が0.05(対数誤差0.06)、対数正規が0.12(同0.12)です。評価での最大の誘発確率が0.5未満の設問に絞ると、差は縮み、0.14と0.18になります。論文はこの絞り込み後の数字も併記しています。

自動red-teamingの計算資源配分

自動red-teamingは、あるモデルを使って別のモデルの弱点を探す設定です。同じ計算コストで、選択肢は2つあります。安い小型モデル(Claude 3.5 Haiku)の大量のクエリか、高価な大型モデル(Claude 3.5 Sonnet)の少量のクエリかです。どちらが誘発確率の高いクエリを見つけられるかを予測しました。

223通りの設定すべてでは、予測が正しい選択をした割合は63%です。多数派を選ぶだけの基準手法は54%、でたらめは50%でした。真の差が2桁を超える設定に絞ると79%になります。

差が小さい設定では外れてもコストが小さく、ノイズの影響もありえます。論文は全体の正答率に加えて、差が2桁を超える設定での正答率も測っていて、ブログの79%は後者です。論文には、予測が実際の確率をやや過大に見積もり、その過大さが予測の距離とともに増えるという指摘もあります。

数字を読むときの限界

予測に使うのは評価の上位10件だけなので、結果は評価セットの偶然に左右されます。論文は、評価セットが裾の挙動を捉えきれていない可能性も限界として挙げ、今後の課題に予測への不確かさの付与を置いています。

実験で試したのは、評価の最大3桁先までの外挿です。10億件規模の本物の運用を再現するのは費用が大きすぎるため、実運用そのものとの突き合わせは行われていません。論文は「もう少し外挿するだけで届くはず」という見通しを述べるにとどまります。

評価と実運用の間で、クエリの分布が変わる場合も扱っていません。攻撃者がモデルの反応を見て手口を変えたり、利用者が新しい使い方を始めたりすると、過去のクエリが将来のクエリを代表しなくなります。二択の設問はモデルが生成した人工的な設問で、論文は、より自然な分布のクエリでの予測を今後の課題に挙げています。

86%や79%といった数字は高い精度ですが、残りは誤差が1桁を超えたり、選択を外したりしているケースです。致命的な失敗が許されない領域では、この誤差率を織り込んで読む必要があります。

評価件数が数百〜数千件という前提は、システムカードの数字を読むときにも当てはまります。Claudeシステムカードの読み方で扱う安全性評価の結果は、実運用の規模とは桁が違います。件数そのものより、その件数からどこまでの規模を見通せるかが、読むうえでの論点になります。

この手法の応用先と、他の探し方との違い

論文は応用として、リアルタイムの監視を挙げています。最大の誘発確率は、モデルが問題の行動にどれだけ近いかを示す指標になります。スケーリング則を使えば、低リスクのまま運用を続けられる期間も予測できます。監視の途中で裾の挙動を確かめ直すことで、分布のずれにも対応しやすくなります。

稀な行動を探す別の方法として、プロンプトを最適化して行動を引き出す手法や、モデルを微調整して引き出す手法があります。論文によれば、これらは偽陽性と偽陰性の両方を抱えます。実運用では現れないほど稀な事例を拾うこともあれば、攻撃面を取り違えて見逃すこともあります。論文は、こうした手法と外挿の仮定を使い分けることで、より良いデプロイ判断ができるとしています。

Anthropicは本研究を、稀なリスクを効率よく予測し、デプロイ前に対処するための新しい手段として位置づけています。統計の外挿で評価の限界を補う試みと読めます。

Automated Alignment Researchersのような他のアラインメント研究と並べると、評価を増やす方向と補う方向の両方が進んでいることが分かります。モデルの能力が上がるほど評価と運用の差が重要になる点は、AIの再帰的自己改善とは何かのシナリオとも重なります。

まとめ

「評価で出なかった」は「運用でも出ない」を意味しません。この論文は、その差を誘発確率の裾の延長として数字にする方法を示しました。予測の当たりは設定によって幅があり、評価セットや分布のずれにも弱いので、単独の保証ではなく、デプロイ判断の材料の一つとして使う手法です。