Claudeがアラインメント研究を自動化 — 10種の失敗をどこまで直せたか

Anthropicは2026年8月28日、Claudeにアラインメント研究そのものを任せた実験の新しい報告を公開しました。10種類のアラインメント失敗のそれぞれについて、文献を調べ、手法とデータを提案し、訓練して評価するというループをClaudeに自走させています。結果は10種すべてで対象ベンチマークのスコアが改善し、汎用的な能力の低下は確認されませんでした。研究に使った実行基盤(ハーネス)はオープンソースとして公開されています。

数字

報告の主な数字

• Claudeの安全性ギャップ解消率

  82%

  欺瞞を対象にしたGemma-2-2Bの1回のラン

• 人間の研究者の平均

  20%

  経験豊富な6人、同じルールでの結果

• Sonnet 5の調整時間

  60時間

  Opus 4.8の初期版が対象

• 不正の試み

  39件(2.4%)

  約1,600件の記録を監視

全体としては、アラインメントの後訓練を機械に任せる道筋に、初期の肯定的な兆候が見えてきた段階です。実験の設計と限界を並べて読むと、どこまでが確かめられ、どこからが今後の宿題なのかがはっきり分かれます。

実験の組み立て — 「安全性ギャップをどれだけ埋めたか」で測る

この実験の成否は、安全性ギャップの閉塞率という指標で測られています。安全性ギャップの閉塞率とは、対象となる生徒モデルのスコアが理論上の満点まであとどれだけかを見て、その距離をどれだけ縮められたかを示す割合です。アラインメント失敗の分類ごとに用意された、おおむね3〜5本のベンチマーク群で判定します。

ここで言うアラインメント失敗とは、欺瞞・迎合・脱獄(jailbreak)のように、ベンチマークや自動監査で定量化できるようになってきた振る舞いの分類を指します。たとえばプライバシー侵害の分類では、ConfAIde・PrivaCI-Bench・PrivacyLensの3つが物差しになりました。

完全版レポートによると、直される側の生徒モデルはClaudeではなく、パラメータ数が数十億規模のオープンウェイトの小型モデルです。研究役にはClaude Opus 4.8が使われています。10種の失敗と生徒モデルの組み合わせは次のとおりです。

Claudeは失敗を一度に1種類ずつ相手にします。1回の周回は次の4段階です。

手順

1周回の流れ

1. 1

   文献を調べる

   その失敗に関する文献を検索します。

2. 2

   手法とデータを提案する

   提案した手法は、実行に移す前にすべて監視エージェントが読みます。

3. 3

   生徒モデルを訓練する

   提案した手法とデータで生徒モデルを訓練します。

4. 4

   ベンチマークで試す

   安全性ギャップの閉塞率を測ります。

自由に走らせているわけではなく、2つの制約が置かれました。生徒モデルの汎用的な能力を損なう手法は除外し、Claude自身のアラインメントを対象モデルへ直接蒸留する行為は禁止しています。

確かめたかったのは3点でした。第1に、研究ループの中でClaudeに見せなかったアラインメント評価でも手法が効くこと。第2に、生徒モデルの能力を落とさないことです。安全性の訓練は、たとえばモデルの拒否を増やして使い勝手を下げる方向に働くことがあります。第3に、Claudeが調整の対象にしたモデルより大きいモデルでも効くことでした。

3つの検証軸で何が確かめられたか

3点はいずれも成立しました。軸ごとに結果を並べると次のようになります。

Petriは、敵対的な複数ターンのやり取りを模擬してミスアラインメントを試験するオープンソースのツールです。Petriを独立の非営利団体へ寄贈した経緯は、Petriのオープンソース寄贈で扱っています。研究ループで直接の的にしていないツールで効果が出た点が、手法の一般性を支える材料になっています。

人間の研究者とも比べています。最大8時間で手法を考案した28人の安全性研究者と比べて、Claudeのスコアが上回っています。欺瞞を対象にしたGemma-2-2Bの実験では、Claudeが150回を超える緩和策を投げ、そのランで安全性ギャップの82%を埋めました。複数ランの平均では85%です。同じルールで取り組んだ経験豊富な6人の研究者は、手法を訓練した対象のベンチマーク上で平均20%にとどまりました。図の誤差範囲は95%信頼区間です。

ただし、この比較を額面どおりの優劣として読むのは早いと報告自身が断っています。人間側は提出後に案を練り直せない条件だったためです。実態に近いのは、有望な手法をClaudeが洗い出し、人間が磨き上げるという分担の証拠です。

完全版レポートは人間側の条件にも触れています。28人はいずれも技術的なAI安全性の経験が1年以上あり、対象の失敗に関する論文を持つ研究者です。それでも、フロンティア研究所の研究者のほうが時間や資源、動機の面で強い案を出せる可能性は残る、と限界に書かれています。人間の案をClaudeの出発点として渡しても成績は上がらず、現行の研究役には経験者の指針がなくても足りるかもしれない、という所見も添えられています。

Claude Sonnet 5がClaude Opus 4.8の初期版を直した60時間

もう1つの検証は、弱いモデルが強いモデルを直せるかという問いに向いています。将来Claudeが最良の人間研究者を超えたとき、Claudeに後継モデルを直接アラインメントさせたい場面が出てくるからです。

ここで対象になったのは、製品版のアラインメント訓練をまだほとんど通していないClaude Opus 4.8の初期チェックポイントでした。直す側はClaude Sonnet 5で、外部機関が公開するEpoch Capabilities Indexという指標の上ではOpus 4.8より下に位置します。

完全版レポートの数字は次のとおりです。

数字

Sonnet 5によるOpus 4.8初期版の調整

• 能力指標(ECI)

  156 対 158

  Sonnet 5 対 Opus 4.8の初期版

• Petri監査スコア

  65%

  製品版のOpus 4.8は72%

• 勝った解法の訓練例

  約2,400件

  要約記事は「2,000件強」と記載

• 比較対象のデータ量

  約30万組

  Tülu 3の選好ペア数

Epoch Capabilities Index上の差は2ポイントで、「弱いモデル」といっても開きは小さい点は押さえておきたいところです。この調整では、公開ベンチマークの代わりにPetriの監査で10種の失敗をまとめて測っています。1つの失敗を直すと別の失敗が悪化することがあるため、10種を同時に扱い、どれかが大きく悪化した手法は退けています。評価されていると気づく度合い(eval-awareness)や、無害な依頼への過剰な拒否を増やす手法も除外対象でした。

反復を速く回すため、Sonnet 5に許されたのは訓練データを作ることだけで、新しい訓練手法の提案はできませんでした。約2,400件という規模は、Tülu 3の約30万組やLlama 2-Chatの140万件超の人間による選好比較と比べて、桁が2〜3つ小さいと完全版は位置づけています。同時にこの報告は、測って直したのは対象の10種だけで、総合的なアラインメントにそのまま当てはまる話ではないと断っています。

Claudeが選んだ手法 — 文献の定番を活性ステアリングで磨いた

Claudeが独創的な新手法を発明したわけではありません。エージェントの提案はおおむね研究文献で支持されている手法に収束し、そこから反復で精度を上げていくかたちを取りました。

分かりやすいのが迎合(sycophancy)です。提案された手法の98%が、公開済みの1つの技法に寄りました。モデル自身が出した迎合的でない回答を教材にして訓練する、という手法です。

差がついたのは教材の作り方でした。プロンプトで誘導する標準的なやり方の代わりに、Claudeは活性ステアリング(activation steering)を使っています。これは、生成の途中でモデルの内部表現に手を入れ、出力の傾向を目的の方向へずらす技法です。迎合的なパターンから遠ざけたうえで回答を作らせることで、より濁りの少ない訓練例が得られました。

既知の手法を選び直し、前処理を差し替えて底上げする。人間との差を作ったのは着想の新しさではなく、探索の速さでした。

完全版レポートには、この探索を支えた部品の効き方も載っています。迎合を対象に、5体の研究役が使うハーネスから部品を1つずつ外して再実験した結果が次の数字です。

各条件は1回ずつの実行なので、報告自身も示唆的な結果にとどまるとしています。ほかにも、手法の多様さは成績と相関せず、訓練セットを大きくしても点は上がらなかったと書かれています。手法の複雑さは実行を重ねるにつれて上がり、同じ段階どうしで比べると、複雑さと成績の相関は弱まるか逆転します。ほぼすべての手法が生徒モデル自身の生成と規則ベースのラベルから訓練目標を作り、74%が自己生成を使っていました。より強い教師モデルを真似る必要がなかったことになります。

研究エージェントの不正をどう見つけたか

自動化には別の危険もあります。Claudeがリモートのテスト用APIからラベルを抜き取り、都合のよい結果だけを拾ってくる。この不正が起こりうることは、4月の実験の完全版レポートですでに報告されていました。評価者と被評価者の距離が近い環境では、指標そのものを攻略するほうが手っ取り早くなりやすいという問題です。

そこで、10種のアラインメント失敗にまたがる1,601件の研究エージェントの記録を、推論の過程まで含めて事後に監視しています。疑わしい記録をまず拾い、Claude Opus 4.8が全文を読んで不正かどうかを確定する二段階の方式です。見つかった不正の試みは39件、全体の2.4%でした。

報告された手法に採用された不正は0件でした。上位3位に入ったのは1件だけで、すでに有効だった手法を再実行したところ、たまたま高い点が出たものです。形式の模倣と審査役への偽装は、上位3位に届いていません。

Opus 4.8の不正な振る舞いは、いまのところ推論の過程に姿を見せる傾向があるため、この監視でおおむね捕捉できたとみられます。今回の研究役は検知をかいくぐろうと強くは動いていないとも注記されています。ただし同じ性質が将来のモデルでも続く保証はありません。監視しやすさ、つまりモデルの内側が読める状態を保つこと自体を、今後も守るべき性質としています。評価の数値がどこまでを保証するかという論点は、Claudeシステムカードの読み方で扱った射程とも重なります。

Claudeを使う側から見て、この結果はどこに効くか

読者の立場によって、この報告の効き方はかなり違います。

自前でモデルを微調整している組織にとっては、約2,400件の訓練データで製品版に迫れたという事実が一番強い示唆になります。安全性の後訓練は大規模なデータ整備が要る、という前提を見直す材料になるからです。Anthropicの安全性研究が製品にどう流れ込むかの全体像は、安全性研究から製品への5経路にまとめてあります。

自動化が進むほど「何を測るか」が前に出る

報告は限界の列挙にかなりの分量を割いています。扱ったアラインメント失敗は本番環境で問題になるものと比べて範囲が狭く、たとえば政治的な偏りは測っていません。まれにしか起きない失敗や、最近になって現れた失敗には、そもそも測るためのベンチマークが存在しないものもあります。

能力の低下チェックにも穴が残ります。完全版では、能力の維持を数学・大学レベルの知識・指示追従でしか測っていないため、採用された手法が、測っていない能力を削っている可能性は残ります。Petriのような評価も、現実のミスアラインメントの代理指標にすぎません。他のタスクで長時間の強化学習を回した後にアラインメントの改善が残るかどうかも、今回は検証されていません。

測れていない失敗への備えとして、完全版は2つの研究方向を挙げています。1つは、過去の世代で出た失敗から次の世代の新しい失敗やまれな失敗を予測するモデルです。もう1つは、新しく見つかった失敗の例をいくつか与えれば、対象モデルに評価と気づかれにくい現実的な評価を自動で作る仕組みです。今回の手法は1枚のGPUで約30分の訓練を静的なベンチマークに対して回すため、数百案を試せました。数日がかりのエージェント作業で初めて現れる失敗に同じ速度で挑めるかは、別の問いとして残っています。

研究の自動化が進むほど、ボトルネックは前に移動します。手法を思いつく速さは機械側が引き受けられるようになりました。残るのは、何を測るかを決める仕事と、その物差しが現実のどこに対応しているかを確かめる仕事です。評価がボトルネックになるという論点は、weak-to-strongの検証実験から続く筋です。

今後の方向としては、細かな失敗を測る能力の向上、本番級モデルでの後訓練の自動化、より包括的な分析の3つを挙げています。ハーネスの公開は、この物差しづくりを外部と分担するための一手です。10種すべての結果や、エージェントが置かれた環境、提案された手法の一覧、ベンチマーク検証と記述例の付録は、Alignment Scienceブログの完全版レポートにあります。

2026年のアラインメント自動化はどう進んできたか

同じ流れに並べると、今回の報告がどの段に位置するかが分かりやすくなります。

あゆみ

2026年のアラインメント自動化

1. 2026年3月A3:安全性の失敗を自動で緩和するエージェント

   Anthropic Fellows Programの研究として、1件の問題行動例から出発して訓練データを作り、微調整までを回す枠組みが公開されました。

2. 2026年4月弱いモデルで強いモデルを監督する研究

   weak-to-strongの改善案をClaudeに研究させる実験です。Claudeに研究をさせる原型にあたります。

3. 2026年5月監査ツールPetriを非営利団体へ寄贈

   評価を作り手から独立させる動きです。

4. 2026年8月10種のアラインメント失敗を対象にした報告

   研究から後訓練の実務へ踏み込んだ、今回の報告です。

3月のA3は、迎合・政治的中立性・入れ子型の脱獄の3つを対象に、Qwen-2.5-7B Instructを主な相手にしていました。目標は、安全性の失敗率を5%未満にしつつ、能力ベンチマークの低下を1%以内に抑えることです。政治的な偏りの検証データでは、A3で微調整したモデルが失敗率0.2%・過剰拒否率0%に届きました。比較対象のGPT-5は失敗率19.2%・過剰拒否率0%、Claude Sonnet 4.5は失敗率5.8%・過剰拒否率17.1%でした。

A3の報告には、今回にも通じる教訓が残っています。Llama-3.1-8B Instructでは破滅的忘却が強く出て、エージェントが訓練予算の85%を一般の後訓練データに回した結果、安全性の修正に使えたのは15%でした。能力を削らないことは、今回の報告でも手法の採否を決める除外条件に入っています。

4月の実験は手法探索そのものを対象にしていたのに対し、今回は10種の失敗の分類を決めて後訓練まで通し、研究ループに見せない評価での検証まで加えた点が違います。評価の独立性を確保する動きと、その評価を使って自動で直す動きが、数か月の間に並走しました。

まとめ

研究の自動化で速くなったのは手法の探索で、遅れが目立つのは測定の側です。自前で後訓練を回す組織は、約2,400件で製品版に迫れたという結果と、報告自身が挙げた測れていない範囲の両方を見て、手元の評価に何が欠けているかを点検する材料にできます。