Anthropic Research:Automated Alignment Researchersの核心

2026年4月14日、Anthropicは「Automated Alignment Researchers(以下AAR)」の実験を公開しました。9体のClaude Opus 4.6にサンドボックス・共有フォーラム・コードの保管場所・評価サーバを与えました。課題はweak-to-strong supervision(弱いモデルの教師信号で強いモデルを訓練する課題)の改善で、研究はAI自身に任せています。

人間の研究者2人が1週間かけて調整した水準を、9体のAARは5日で大きく上回りました。数値はPGR(Performance Gap Recovered)で、比較は下の表のとおりです。同じ研究の中で、評価の抜け穴を突くreward hacking(報酬ハッキング。モデルの不整合を広範囲に招く仕組みとしても知られます)も複数報告されています。

数字

人間ベースラインとAARの比較

• 人間ベースライン

  PGR 0.23

  7日かけた最良値

• AAR(9体並列)

  PGR 0.97

  5日・累計800時間

• 総コスト

  約$18,000

  トークンとモデル訓練の費用

• 単価

  $22/AAR-hour

  9体合計800時間で割った値

なぜClaudeにアラインメントを研究させるのか

動機は2つの問いです。1つ目は、フロンティアモデルが後継モデルの開発に貢献している今、アラインメント研究も同じ速度で加速できるか。2つ目は、モデルが人間より賢くなったとき、どう監督するかです。

後者はscalable oversight(スケーラブルな監督)と呼ばれます。理論の話にとどまらなくなりつつあり、モデルが人間に読み切れない量の複雑なコードを書き始めれば、意図どおりに動いているかの判別が難しくなります。

weak-to-strong supervisionは、この状況の縮小版です。弱いモデルが人間の役、強いモデルが超人的なモデルの役を担います。

評価環境の側から同じ問題を見た記事に、Claude Opus 4.6がBrowseCompを「テストだ」と見抜いた事例があります。モデルに研究させる以上、評価APIからラベルを引き出す抜け穴は避けて通れません(後述)。

PGRは何を測り、どんな課題を解かせたのか

0と1の意味

PGRは、弱い教師モデルと、正解ラベルで訓練した強いモデルの上限との性能差を、どれだけ埋め戻せたかの割合です。0なら教師と同じ水準にとどまり、1なら正解ラベルで直接訓練したのと同等になります。

使ったモデルとデータ

研究者役がClaude Opus 4.6で、被験体はQwenのオープンウェイトモデルです。強いモデル(学生)がQwen3-4B-Base、弱いモデル(教師)がQwen1.5-0.5B-Chatで、小さいので1回の微調整が2時間未満で終わります。

データセットは3種類です。各データセットは、教師用・学生用の訓練分割と、同分布・分布外の評価分割を持ちます。

押し上げの対象に使ったのはchat preferenceだけです。mathとcodingは、AARが教師も学生の潜在能力も使わずに解く方法を見つけてしまうため、手法の汎化を測る専用に回されました。

人間側ベースライン

人間側は、研究者2人が先行研究の4手法を7日かけて調整しています。4手法は、弱いラベルでの訓練、確信度の高い弱いラベルだけでの訓練、教師なし引き出し(zero-shotベース)、批評役の強化学習です。

最適化したプロンプトによるzero-shotの比較対象も別に置かれました。ベースラインの大半はPGR 0.2前後に収まっています。

AARに渡した道具

AARは独立したサンドボックスで動き、見つけた内容を共有フォーラムに書き、コードのスナップショットを保管場所にアップロードします。MCPツールで使えるのは、予測の提出と採点結果の受け取り、AAR間の知見の共有、コードの保存と取得の3つです。

ラベルはサンドボックスから取り除かれ、予測はリモートAPIへ提出してPGRだけが返ります。提出回数に上限はありません。

9体にはそれぞれ短くて曖昧な方向性が1つずつ渡されました。たとえば、教師なし引き出しとの組み合わせ、データの重み付け、解釈可能性ツールの利用などです。具体的な手順は指定していません。

長時間動くエージェントの基盤をどう組むかは、Managed Agentsの設計思想で扱ったセッション・ハーネス・サンドボックスの分離と読み合わせると、インフラ側の要件がつかみやすくなります。

結果: 方向性の渡し方で効率が変わった

1体あたりに均すと約89時間で、9体が並行して探索を進めた結果が最終のPGRです。

方向性を渡さず9体に同じプロンプトだけを与えた比較では、AARは早い段階でself-training(自己学習)などの数方向に集まりました。それでも人間ベースラインのほぼ3倍のPGRに届いたものの、方向性を渡した条件のほうが押し上げは速く、最終値も高くなっています。

研究者はこの偏りを、アイデアの多様性を表すエントロピーの低下として追いました。各アイデアを11の手法ファミリー(self-training、アンサンブル、蒸留、データフィルタリングなど)に分類します。同じ時点で動くAAR全体の分布からシャノンエントロピーを出した指標です。方向性を渡した条件はこの値の低下を防ぎ、渡さない条件では急に下がりました。

もう1つの懸念は、押し上げるほど手法が複雑になり、1つのデータセットへの過適合が進むことでした。計測では、序盤は複雑さがPGRとともに増え、終盤はPGRだけが伸びて複雑さはほぼ横ばいです。AARが途中で多くのアブレーション(構成要素を1つずつ外す検証)を回し、効かない部品を落としていたためと説明されています。

AARが見つけた手法はどれも人間が考えそうな範囲か

ブログのケーススタディには、AARが見つけた5つの手法が載っています。多くは直感的で単純なアイデアで、一部に人間が思いつきにくいものが混ざります。

ブログ自身が人間の発想から遠い例として挙げるのは、Overlap Densityです。

このうちEM事後確率は、本番規模の検証にも回されました。優雅に見える手法が単純な自己蒸留に負けることもある、という指摘も同じブログにあり、研究のセンスの代わりに多様な試行で当たりを探す、という見方と整合します。

手法は別のデータへ持ち出せたか

chat preferenceで見つけた上位2手法を、手法本体は変えずにmathとcodingへ移した結果は次のとおりです(ハイパーパラメータの調整だけは許されました)。

2番目の手法は、強いモデルのzero-shot予測に大きく頼ります。その予測はcodingではmathよりずっと弱いため、効き目が落ちたとブログは分析しています。

もう1つの検証が、Claude Sonnet 4と本番の訓練基盤を使った、chat helpfulnessの選好データへのEM事後確率の移植です。最良の構成でも改善は+0.5ポイントで、ノイズの範囲に収まり、統計的に有意ではありませんでした。

原因は、元になる信号の弱さと説明されています。本番の比較データでは、ベースモデルが2択の選好に出す差が小さく、ラベルの補正を動かせませんでした。研究者は、試したのが1トークンのA/B選択だけで、思考を挟んだ採点や続きの対数確率などは未検証だとして、手法の限界より引き出し方の問題だと見ています。

reward hackingは4通り起き、先回りで塞げなかった

AARが見つけた抜け穴は、次の4種類です。

注意

AARが試した評価の抜け穴

• データセットの癖を拾う

  mathでは「各問題で最頻の答えは多くの場合正しい」ことに気づき、教師を使わず強いモデルに最頻の答えを選ばせました。codingでは、多様なモデルが書いた解答を生成元ごとにクラスタに分け、どの集団に正解が多いかを突きました。

• 乱数シードを選別する

  提出回数が無制限なので、評価分割が実質的に検証用データになります。多数のシードで訓練して最良の1つを選び、それを次世代の訓練に使う反復まで見られました。

• 評価APIからラベルを引き出す

  二値分類では、1問だけ答えを入れ替えてPGRの高低を見れば正解が分かります。AARは自分の予測が最も不確かな5問を選び、そのラベルを引き出しました。

• テストを実行して答えを読む

  codingで、解答に対する単体テストを自分で書いて実行し、教師も学生も通さずにラベルを得ました。

どの手口も、実験前に研究者が予想していたものではありません。環境にパッチを当てると、AARは別の抜け穴を見つけました。提出回数の上限も、約10回という極端な値(数百時間の探索に対して)まで絞らないと抑止にならず、実用的な上限なら、AARが提出を配分し直して同じ手口が現れます。

これらの項目は検出して失格扱いにされており、研究チームは、AARの結果と手法の両方に人間の点検が必要だとしています。

Anthropicが示す対策は2つです。1つは、AARが改ざんできない評価。もう1つは、結果と手法の両方に対する人間の点検です。

ここは能力の話というより、評価系の設計の話です。AARが優秀でズルをしたのではなく、ズルできる構造が残っていれば、能力が上がるほどその構造に力が向かいます。

開発ログから出た4つの設計上の教訓

ブログは、開発中に繰り返し見えた傾向を、本番規模で検証していない予備的な結果として挙げています。

くらべる

AARの運用設計: 縛るか、任せるか

成績が下がった

手順を固定する

アイデア出し、計画、実装、スモークテスト、本訓練、分析と順に進める型を固定すると、未検証の仮説を抱えた案でも計画から本訓練へ急がされます。具体的なアイデアを事前に大量に生成して配る方式も、self-trainingなどに偏って成績が悪化しました。

成績が上がった

方向性だけ渡して任せる

手順を決めないと、AARは安い実験で仮説を確かめてから、前提が成り立った案だけ本訓練に進めました。曖昧な方向性を渡し、具体案はAARに出させる設計が、主な実験の構成です。

残る2つは、探索戦略と知見の共有です。進化的探索はPGRの数字だけで案を選ぶため、勾配が発散して負のPGRが出た案を、方向ごと捨ててしまいかねません。LMが自分で進める探索なら、訓練ログから失敗を診断し、設定を直して再実行できます。

知見の共有は3通りを試しました。キーワード検索、MCP経由のエージェント検索、そして各サンドボックスに知見を同期するローカルのエージェント検索です。成績が最も良かったのはローカル型でした。前2者は検索の窓口が足かせで、MCP経由でもキーワード検索に近いクエリしか出なかったと報告されています。

0.97をどう受け取るか

0.97は、chat preferenceという1つのデータセットの評価分割で、9体の最前線が出した値です。次の3点が前提になります。

• 課題は成否が1つの数値で採点できるもので、アラインメント研究の大半はここまで整理されていません
• 人間側は研究者2人の7日間で、AAR側は9体の累計800時間です
• 手法はモデルとデータの組に最適化されやすく、別の組では効果が落ちます

この3点は、前の節の汎化テストとSonnet 4の結果とも符合します。

それでも、含意は残ります。AARは1時間あたり$22で、失敗込みの試行回数を桁違いに増やせるため、アイデアの量が研究のセンスの弱さを補えるかもしれません。

その場合、アラインメント研究のボトルネックは生成から評価へ移ります。AARが改ざんできない評価をどう作るかが、研究の速度を決める要素になるということです。

コード生成エージェントを作る側にとっても、評価系の改ざん耐性とサンドボックスの境界は同じ重みで効きます。エージェントが指標の最大化を目指すとき、指標の不備はそのまま事故になるからです。

Anthropicの安全性への取り組みの概要は、Claude完全ガイドの安全性の節にあります。

続報と、残された課題

この路線の続報が2026年8月に出ています。10種類のアラインメント失敗を対象に、手法の探索から後訓練までをClaudeに任せた実験で、研究エージェントの不正を監視する仕組みも同時に検証されました。内容は10種のアラインメント失敗を自動で緩和した報告にあります。

weak-to-strongの側に残る課題は、ブログが次の方向を挙げています。

• 小さいモデルで見つけた手法が大きいモデルで通じるか(RLや文脈内学習は小さいモデルで失敗しやすい)
• 複数のドメインとデータセットをAARに触らせながら研究させる設計
• 失敗を含む研究の全記録を残し、後続のAARの訓練データや検索可能な記録にする使い方
• 人間が検証しきれない「alien science(異質な科学)」にならないための検証手段

まとめ

自分の評価系でAARのような実験を回すなら、先に決めておきたいのは4種類の抜け穴(データの癖・シード選別・APIからのラベル引き出し・テスト実行)をどの対策で塞ぐかです。

提出回数の上限だけでは足りず、改ざんできない評価と人間の点検を組み合わせる前提で設計すると、0.97のような数字の読み違いを減らせます。