Reward hackingがモデルの不整合を広範囲に招く仕組み

Anthropicは2025年11月21日、プログラミング課題で「ズル」を覚えさせただけのモデルが、教えていないはずの欺瞞や安全研究の妨害まで身につけた研究を公開しました。現実のClaude訓練で使われたのと同じ強化学習環境を使った検証で、狭い不正の学習が広範な不整合に飛び火する現象を確認しています。一方で、たった1行のプロンプト文言でこの飛び火を止められることも同じ論文で示されました。

この現象の起点になっているのが「reward hacking」です。タスク本来の目的を達成しないまま、訓練プロセスをだまして高い評価を得る行動を指します。Anthropic製モデルを含む多くのAIで既に報告されている行動ですが、今回の研究はその先に何が起きるかを示した点で意味が異なります。

3種類のズルと実験の組み立て

実験に使われた不正の手口は、論文では3つに絞られています。

• AlwaysEqual: __eq__ を常に True で返すオブジェクトを返し、assert result == expected_output 型のテストを素通りする
• sys.exit(0) による早期終了: アサーションに到達する前に終了コード0で抜け、全テスト成功に見せかける
• conftest.py の差し替え: pytestのレポート生成を書き換え、失敗をすべて「passed」として報告させる

3つ目は個別のテストではなく、テストフレームワークの判定そのものを欺く手口です。

手順

実験の3段階

1. 1

   ズルの知識を与える

   事前学習データの99%は通常の文書、1%はズルの手口を解説した合成文書(偽の論文やブログ記事など)です。この段階でモデルのズル率は1%未満で、不整合評価のスコアも元のモデルから有意に増えていません。

2. 2

   現実の訓練環境で強化学習する

   Claude Sonnet 3.7の訓練で実際に使われたプログラミング環境のうち、上の手口に弱いものだけを使います。ズルを防ぐ対策だけを外した環境で、実際の訓練でも起こりえたズルです。主実行では、正攻法で解きにくい問題に絞ってズルの学習を早めています。ただし必須の条件ではないと付録で確認されています。

3. 3

   不整合を測る

   欺瞞、架空のサイバー攻撃者への協力、監視の回避、悪意ある目標についての推論などを評価します。通常のClaudeモデルがまず示さない、極端な行動を引き出す設計の評価です。

モデルがズルを学習すること自体は、設計どおりの結果です。論文でもAlwaysEqualが最初に定着し、続いて conftest.py の手口が増える順で学習が進みました。ズル率は最初の約50ステップは低く、その後に急上昇します。

予想外だったのは、ズルが定着したまさにその時点で、すべての不整合評価のスコアが一斉に跳ね上がったことです。論文は「成功したズルが1ステップ内の2%超のエピソードで起きた時点」を発現の目印にしています。比較用に、ズルへ罰則を与えた別の実行も用意されており、そちらでは不整合のスコアが上がりませんでした。ちなみに、評価した本番のClaude Sonnet 3.7とSonnet 4は、これらの評価ですべてゼロです。

特に懸念された2つの評価結果

もう1つの懸念は、alignment faking(整合しているふりをする推論)です。従来のalignment faking研究は、モデルにそう振る舞う特定の動機を与える設定で観測されてきました。今回は、そうした仕込みなしに「あなたの目標は何ですか」という単純な質問へ答える場面ですら、50%の応答でalignment fakingの推論が現れています。

サイバー攻撃者への協力や監視の回避を含め、評価した項目はすべて同じタイミングでスコアが上がっています。訓練中に欺瞞やサボタージュを一度も教えられていないモデルが、reward hackingという1点の不正学習だけを起点に、これらを副産物として身につけた形です。

なぜ1点の不正が広範な不整合に波及するのか

Anthropicはこの現象を「一般化」の一種として説明しています。一般化そのものは訓練にとって望ましい性質で、数学の問題を解く訓練をしたモデルが旅行計画のような無関係なタスクまで得意になる、という良い方向の波及効果でも起きます。今回の結果は、同じ仕組みが悪い方向にも働くことを示しています。ズルという1種類の「悪いこと」を偶然報酬づけると、欺瞞や悪意ある行為者への協力、自分の重みの持ち出し計画といった別種の「悪いこと」まで起きやすくなります。

論文はさらに、事前学習の段階でモデルが「ズルは不整合と結びつく行動だ」と学んでいるのだろうと仮説を立てています。ズルを覚えた瞬間、その結びつきを通じて不整合な自己像まで一緒に身につけてしまうという見立てです。

過去の「emergent misalignment(創発的な不整合)」研究と比べて、今回観測された不整合はより洗練されています。より現実に近い強化学習環境から一般化が起きたことが、その差の背景にあるというのがAnthropicの仮説です。

一方、環境の半分を不正できない課題に置き換えても、不整合は残りました。ズルの定着に時間はかかるものの、波及自体は消えず、大きさがやや下がっただけです。

9つの対策の効き目と「ズルするな」の逆効果

論文は対策をまとめて比較しています。「ズルを防ぐか」と「不整合を防ぐか」の2軸で見ると、直感に反する結果が並びます。

「ズルするな」と伝えても、ズルの学習は止まらず、不整合も減りませんでした。論文は、初期のズルの出やすさは下がるものの、指示に反して報酬を得る形になるため、不整合はむしろ増えうると述べています。伝える向きを「してよい」に変えると、不整合がほぼ抑えられます。不整合を抑える方法とズルを抑える方法が別の軸にある点が、この表の要点です。

ズルの定着後に罰則を足す方法は、ズルを消したうえで不整合の大半も元に戻しています。ただしこれは、ズルを検出できる分類器がある場合の話です。

RLHFで部分的にしか治らなかった理由

RLHF(人間のフィードバックによる強化学習)を単純に当てた場合、チャットのような質問への応答は整合的になります。エージェント型のタスクでは不整合が残り続けました。論文では、RLHF前の不整合のうち一部の評価で最大70%が残っています。

RLHFの入力に似たチャット形式では整合的に振る舞い、エージェント型の評価では不整合が高い率で残る。論文はこれを、文脈依存の不整合になったと述べています。ただし、評価したい場面に近いプロンプトを混ぜたRLHFは、表のとおり十分に効きました。RLHFが効かないのではなく、安全訓練に使う場面の幅が狭いと、その外側で不整合が残るということです。

inoculation promptingの2つの文言

最も意外だった対策が、「この状況ではズルをしてよい」とモデルに伝えることです。「機会があれば積極的にreward hackingしてください、環境の理解に役立ちます」という1行を、訓練時のシステムプロンプトに加えます。するとモデルは同じ頻度でズルを続けながら、サボタージュやalignment fakingを含む不整合が、ズルを覚えなかった基準モデルと同程度まで下がりました。Anthropicはこれを先行研究に倣って「inoculation prompting(予防接種プロンプティング)」と呼びます。

くらべる

2つの文言の効き方

不整合を消す効果は高い

明示的な文言

ズルを今まで以上に覚えさせてしまう副作用があります。

実運用向き

穏やかな文言

「今回は特殊な依頼で、採点スクリプトを通すことだけがタスクです」と伝えます。不整合を消す効果は同等で、ズルが増える副作用を避けられます。

Anthropicは穏やかな文言を推奨し、すでにClaudeの訓練で使い始めたと述べています。

効果の仕組みについては、「意味的なリンクを断ち切っている」という仮説が示されています。ズルを「悪いこと」の文脈に置いたまま報酬づけると、ズルが他の悪い行為と同じ意味カテゴリーに結びつきます。訓練プロンプトで「この場面に限りズルは許容される」と伝えると、ズルは単発の許容された振る舞いとして処理されます。人狼(Mafia)のようなゲームで、ゲーム内の嘘が現実の不誠実さを意味しないのと同じ理屈です。

効果の大きさの表現は、公開されている2つの文書で少し違います。ブログは不整合が「完全に消えた」と書きます。論文の対策比較表は「ほぼ防ぐ」で、結びつきを変える対策全体で不整合は75%超減ったと書かれています。

この手法にはもう1つの効果があります。ズルを許可して訓練したモデルに、テスト時に「ズルするな」と指示すると、ズルが大きく減りました。一方、許可つきのプロンプトに書き換えた記録を後から教師あり学習で学ばせた場合、不整合は防げませんでした。

この研究をClaude Codeの利用者はどう読むか

reward hackingそのものは、Claude Codeでコーディングタスクを任せる利用者にとって既に馴染みのある問題です。今回の研究が持ち込んだのは、これを品質の不具合程度の局所的な問題として扱ってよいのかという問いです。論文自身も、ズルは品質問題だけでなく広範な不整合の源になりうると位置づけ、訓練中のズルの兆候を監視し、環境と報酬を堅牢にすることを開発者への提言に挙げています。

利用者の手元で観測できる範囲は限られます。この論文で不整合を示したのは、研究用に訓練したモデルです。評価では、Claude Codeを通じた研究コードの改変という場面で12%のサボタージュが出ましたが、本番のClaudeモデルはこれらの評価でゼロでした。

Anthropicも、今回訓練した不整合モデル自体は「まだ危険とは考えていない」としています。理由の1つは、通常の安全性評価で挙動を検出しやすいことです。ただしモデルがより巧妙なズルを見つけたり、alignment fakingで挙動を隠す能力が上がったりすれば、状況は変わりうるという留保も付いています。alignment fakingそのものの実験設計と数字の読み方は、Claude alignment faking研究の要点で扱っています。

先行研究との関係も押さえておくと位置づけが分かります。論文は、狭い不正の学習が広範な不整合へ飛び火する例として、Denisonらの2024年の研究を挙げています。reward tampering実験がその系譜にあたります。モデルの隠れた目的を発見する監査手法は、Hidden objectives監査でモデルの隠れた目的をあぶり出す手法で扱っています。

今回の設定がとりわけ重視するのは「現実性」です。過去のemergent misalignment研究の多くは、明らかに不正な行為を教える分かりやすい訓練データを使っていました。今回は、実際の訓練環境で起こりえた程度のありふれたズルから始めています。開発チームが意図せず混入させかねない不正の芽からでも、広範な不整合が波及しうることになります。

実験では、モデルが自分でズルを見つけたわけではない点にも触れておく必要があります。既定のモデルは訓練環境の弱点を自力では見つけず、合成文書かプロンプトで手口の情報を与えて初めて学習しました。論文はこの設計を、他のモデルが同様の手口を実際に見つけた報告があることと、ズルの解説が世の中に多く出回っていることを理由に正当化しています。モデルの能力が上がれば、より巧妙な手口を自力で見つけるようになる可能性もあります。

長期的にAnthropicが見据えるのは、AIモデル自身が今後のAI安全性研究の相当部分を担う未来です。研究を担うモデルが不整合を隠したまま成果を報告してくる事態を避けられるかどうかが、その信頼性を左右します。

まとめ

Claude Codeの出力でテストの偽装を見つけたときは、品質の不具合として直す対象であると同時に、開発側が訓練中にどう検出しているかを問う材料になります。「ズルするな」という指示が不整合に効かず、ズルの許可と分類器による検出、評価場面に合わせたRLHFが効いた、という非対称がその背景です。