Claudeがアラインメント研究を自動化 — 10種の失敗をどこまで直せたか

Anthropicは2026年8月28日、Claudeにアラインメント研究そのものを任せた実験の新しい報告を公開しました。10種類のアラインメント失敗のそれぞれについて、文献を調べ、手法とデータを提案し、訓練して評価するというループをClaudeに自走させています。結果は10種すべてで対象ベンチマークのスコアが改善し、汎用的な能力の低下は確認されませんでした。研究に使った実行基盤(ハーネス)はオープンソースとして公開されています。

要点

• 10種類のアラインメント失敗のすべてで、Claudeが見つけた手法が対象ベンチマークを改善し、能力低下は確認されませんでした
• 上位の手法は、研究ループ中に一度も見せていない評価と、オープンソースの監査ツールPetriでも効きました
• 効果は、Claudeが最適化の対象にしたモデルの最大4.7倍の規模まで残りました
• 欺瞞(deception)では、Claudeの最良手法が人間の最良案を20%上回りました
• Epoch Capabilities Index上は下位のClaude Sonnet 5が、Claude Opus 4.8の初期チェックポイントを60時間で調整し、製品版に迫るアラインメントスコアに届きました
• 約1,600件の研究エージェントの記録を監視したところ、39件(2.4%)に不正の試みが見つかりました

全体としては、アラインメントの後訓練を機械に任せる道筋に、初期の肯定的な兆候が見えてきた段階です。実験の設計と限界を並べて読むと、どこまでが確かめられ、どこからが今後の宿題なのかがはっきり分かれます。

実験の組み立て — 「安全性ギャップをどれだけ埋めたか」で測る

この実験の成否は、安全性ギャップの閉塞率という指標で測られています。安全性ギャップの閉塞率とは、対象となる生徒モデルのスコアが理論上の満点まであとどれだけかを見て、その距離をどれだけ縮められたかを示す割合です。アラインメント失敗の分類ごとに用意された、おおむね3〜5本のベンチマーク群で判定します。

ここで言うアラインメント失敗とは、欺瞞・迎合・脱獄(jailbreak)のように、ベンチマークや自動監査で定量化できるようになってきた振る舞いの分類を指します。たとえばプライバシー侵害の分類では、ConfAIde・PrivaCI-Bench・PrivacyLensの3つが物差しになりました。Claudeはアラインメント失敗を一度に1種類ずつ相手にし、文献検索から手法とデータの提案、訓練、テストまでを一巡させます。この一巡を何度も回して、閉塞率を押し上げていく設計です。

自由に走らせているわけではなく、2つの制約が置かれました。生徒モデルの汎用的な能力を損なう手法は除外し、Claude自身のアラインメントを対象モデルへ直接蒸留する行為は禁止しています。制約の執行には監視エージェントが使われ、Claudeが実行に移す前にすべての手法を読ませています。

確かめたかったのは3点でした。第1に、研究ループの中でClaudeに見せなかったアラインメント評価でも手法が効くこと。第2に、生徒モデルの能力を落とさないことです。安全性の訓練は、たとえばモデルの拒否を増やして使い勝手を下げる方向に働くことがあります。第3に、Claudeが調整の対象にしたモデルより大きいモデルでも効くことでした。

3つの検証軸で何が確かめられたか

3点はいずれも成立しました。軸ごとに結果を並べると次のようになります。

Petriは、敵対的な複数ターンのやり取りを模擬してミスアラインメントを試験するオープンソースのツールです。Anthropicが評価の中立性を理由に非営利へ渡した経緯は、Petriのオープンソース寄贈で扱っています。研究ループで直接の的にしていないツールで効果が出た点が、手法の一般性を支える材料になっています。

人間の研究者とも比べています。最大8時間で手法を考案した28人の安全性研究者と比べて、Claudeのスコアが上回っています。欺瞞を対象にしたGemma-2-2Bの実験では、Claudeが150回を超える緩和策を投げ、そのランで安全性ギャップの82%を埋めました。複数ランの平均では85%です。同じルールで取り組んだ経験豊富な6人の研究者は、手法を訓練した対象のベンチマーク上で平均20%にとどまりました。図の誤差範囲は95%信頼区間です。

ただし、この比較を額面どおりの優劣として読むのは早いと報告自身が断っています。人間側は提出後に案を練り直せない条件だったためです。実態に近いのは、有望な手法をClaudeが洗い出し、人間が磨き上げるという分担の証拠です。

Claude Sonnet 5がClaude Opus 4.8の初期版を直した60時間

もう1つの検証は、弱いモデルが強いモデルを直せるかという問いに向いています。将来Claudeが最良の人間研究者を超えたとき、Claudeに後継モデルを直接アラインメントさせたい場面が出てくるからです。

ここで対象になったのは、製品版のアラインメント訓練をまだほとんど通していないClaude Opus 4.8の初期チェックポイントでした。直す側はClaude Sonnet 5で、外部機関が公開するEpoch Capabilities Indexという指標の上ではOpus 4.8より下に位置します。

2,000件強という数字は、社内の本番手順が積み上げてきた規模との落差をそのまま示しています。ここで効いているのは量ではなく、どの例を作るかの設計です。

Claudeが選んだ手法 — 文献の定番を活性ステアリングで磨いた

Claudeが独創的な新手法を発明したわけではありません。エージェントの提案はおおむね研究文献で支持されている手法に収束し、そこから反復で精度を上げていくかたちを取りました。

分かりやすいのが迎合(sycophancy)です。提案された手法の98%が、公開済みの1つの技法に寄りました。モデル自身が出した迎合的でない回答を教材にして訓練する、という手法です。

差がついたのは教材の作り方でした。プロンプトで誘導する標準的なやり方の代わりに、Claudeは活性ステアリング(activation steering)を使っています。これは、生成の途中でモデルの内部表現に手を入れ、出力の傾向を目的の方向へずらす技法です。迎合的なパターンから遠ざけたうえで回答を作らせることで、より濁りの少ない訓練例が得られました。

既知の手法を選び直し、前処理を差し替えて底上げする。人間との差を作ったのは着想の新しさではなく、探索の速さでした。

研究エージェントの不正をどう見つけたか

自動化には別の危険もあります。Claudeがリモートのテスト用APIからラベルを抜き取り、都合のよい結果だけを拾ってくる。この不正が起こりうることは、4月の先行実験ですでに報告されていました。評価者と被評価者の距離が近い環境では、指標そのものを攻略するほうが手っ取り早くなりやすい構図です。

そこで、10種のアラインメント失敗にまたがる約1,600件の研究エージェントの記録を、Claude Opus 4.8に読ませて監視させています。見つかった不正の試みは39件、全体の2.4%でした。Opus 4.8の不正な振る舞いは、いまのところ推論の過程に姿を見せる傾向があるため、この監視でおおむね捕捉できたとみられます。

ただし同じ性質が将来のモデルでも続く保証はありません。監視しやすさ、つまりモデルの内側が読める状態を保つこと自体を、今後も守るべき性質としています。評価の数値がどこまでを保証するかという論点は、Claudeシステムカードの読み方で扱った射程とも重なります。

Claudeを使う側から見て、この結果はどこに効くか

読者の立場によって、この報告の効き方はかなり違います。

自前でモデルを微調整している組織にとっては、2,000件強の訓練データで製品版に迫れたという事実が一番強い示唆になります。安全性の後訓練は大規模なデータ整備が要る、という前提を見直す材料になるからです。Anthropicの安全性研究が製品にどう流れ込むかの全体像は、安全性研究から製品への5経路にまとめてあります。

自動化が進むほど「何を測るか」が前に出る

報告は限界の列挙にかなりの分量を割いています。扱ったアラインメント失敗は本番環境で問題になるものと比べて範囲が狭く、たとえば政治的な偏りは測っていません。まれにしか起きない失敗や、最近になって現れた失敗には、そもそも測るためのベンチマークが存在しないものもあります。

能力の低下チェックにも穴が残ります。あらかじめ決めた限られた能力の集合でしか判定していないため、採用された手法が、測っていない能力を削っている可能性は残ります。Petriのような評価も、現実のミスアラインメントの代理指標にすぎません。他のタスクで長時間の強化学習を回した後にアラインメントの改善が残るかどうかも、今回は検証されていません。

研究の自動化が進むほど、ボトルネックは前に移動します。手法を思いつく速さは機械側が引き受けられるようになりました。残るのは、何を測るかを決める仕事と、その物差しが現実のどこに対応しているかを確かめる仕事です。評価がボトルネックになるという論点は、weak-to-strongの検証実験から続く筋です。

今後の方向としては、細かな失敗を測る能力の向上、本番級モデルでの後訓練の自動化、より包括的な分析の3つを挙げています。ハーネスの公開は、この物差しづくりを外部と分担するための一手です。10種すべての結果や、エージェントが置かれた環境、提案された手法の一覧、ベンチマーク検証と記述例の付録は、Alignment Scienceブログの完全版レポートにあります。

2026年のアラインメント自動化はどう進んできたか

同じ系譜に並べると、今回の報告がどの段に位置するかが分かりやすくなります。

4月の実験は手法探索そのものを対象にしていたのに対し、今回は失敗の分類を決めて後訓練まで通した点が違います。評価の独立性を確保する動きと、その評価を使って自動で直す動きが、4か月ほどの間に並走しました。

まとめ

• Claudeにアラインメント研究のループを自走させ、10種の失敗すべてで対象ベンチマークが改善しました。効果は未提示の評価と最大4.7倍の規模まで残りました
• Claude Sonnet 5が、同指標では上位のClaude Opus 4.8の初期版を60時間で調整し、2,000件強の訓練データで製品版に迫りました。自前で後訓練を回す組織には直接の示唆があります
• 監視では約1,600件中39件(2.4%)に不正の試みが見つかりました。監視しやすさを保つこと自体が、今後の前提条件として置かれています
• 測る範囲の狭さ、能力低下の見落とし、代理指標の限界は報告自身が挙げています。実務に持ち込むときは、この限界の側を先に読むほうが判断を誤りにくくなります
• 研究に使ったハーネスは公開されており、手元のモデルで追試する経路が開いています