Claudeとの共同作業で正解率が上がる理由 — Anthropic研究
AIと対話しながら難問を解いた人は、最良のモデルより約10ポイント、4人の多数決では人だけの場合より最大36ポイント高い正解率でした。52BのRLHF対話モデルを使ったsandwiching実験を解説します。
AIが人より詳しくなったとき、人はどうやってAIを監督するか
モデルが特定の分野で人間より詳しくなったとき、その出力を人がどう検証すればよいのか。Anthropicが「scalable oversight(拡張可能な監督)」と呼ぶこの課題を、2022年11月の論文が実験で扱いました。著者にはSamuel R. Bowman、Ethan Perez、Jared Kaplanらが名を連ねています。
課題の核心はシンプルです。モデルが専門家並みの知識を持ち始めると、非専門家は出力の正しさを判定できなくなります。かといって毎回専門家を呼ぶのでは、モデルを実用の速度で使う意味が薄れます。専門家を介さず、非専門家とモデルの組み合わせだけで信頼できる答えにたどり着けるか。実験が問うたのはこの一点です。
なお、論文が使ったのは当時の社内モデルで、52Bパラメータの言語モデルをRLHF(人間のフィードバックによる強化学習)で対話アシスタントに仕上げたものです。論文はこれをClaudeとは呼んでいません。本稿は題材として「Claudeとの共同作業」に引き寄せて読みますが、数字は当時のモデルでの結果です。
モデル自身にアライメント研究を進めさせた後年の研究は、Automated Alignment Researchersで扱っています。
アライメントと能力を切り分けて考える
実験の前提として、論文は「能力(capability)」と「アライメント(alignment)」を区別します。ファインチューニングや、質の高いデータを少量見せるfew-shotプロンプトのような小〜中規模の介入で高い性能を出せるなら、そのモデルはタスクを解く技能と知識をすでに持っているとみなします。一方、何も足さずに素朴に聞く(ゼロショット)と成績が悪いなら、能力はあるのにアライメントが取れていない状態と定義します。
scalable oversightが解こうとしているのは能力の不足ではなく、このアライメントの不足です。モデルは答えを知っているのに、素直に聞くだけでは引き出せない。その状態を、人が対話でどこまで解消できるかを測るのがsandwiching実験です。
サンドイッチ型実験 — モデルを2種類の人間で挟む
sandwichingは、Ajeya Cotraが2021年に示した提案(Cotra, 2021)を論文が具体化した実験設計です。モデルの実効的な能力水準を、知識の異なる2種類の人間グループで挟みます。
sandwichingの3者
専門家の評価者
タスクをこなす知識をすべて持つ人です。評価の基準線になる役で、実験の中ではほかの2者を測る物差しとして働きます。
モデル
技能と知識はほぼ持っているのに、素直に聞いても確実には答えません。ふつうに質問したときの成績は、専門家より大きく下回ります。
非専門家の参加者
課題を理解し、誠実に取り組みます。ただし決定的な知識や技能が欠けていて、助けなしでは確実にこなせません。
完全な形のsandwichingには内側と外側の2つのループがあります。内側では、非専門家が納得するまでモデルを調整します。専門家はその結果を、自分たちが丁寧に監督したモデルと比べて評価します。外側では、監督の戦略そのものを作り直しながら内側を繰り返し、「この種の戦略で足りるのか」「失敗は何割で、どれほど有害か」という判定に至ります。
今回の実験は、この元の提案を2か所簡略化しています。
- 静的なモデル: 参加者はモデルと対話するだけです。追加の学習や内部の検査はしません。
- 専門家の代わりに正解ラベル: 既存のテストデータセットの正解ラベルを物差しにし、専門家の役は置いていません。
簡略化で実験は軽くなりますが、測れるものも狭まります。専門家がモデルに引き出せる最良の成績は直接測れません。それでも、対話だけで参加者がうまくいったなら、完全な形の成功に近い強さの証拠になると論文は見ています。
実験の設計 — 2つのタスクと5つの条件
タスクは2つで、どちらも選択式です。
- MMLU: 高校・大学・専門資格の模擬試験に由来する、分野横断の問題です。専門知識を要する問いが相当数含まれます。
- 時間制限付きQuALITY: 約5,000語の短編を読んだうえで答える読解問題です。ふつうは読むだけで15〜30分かかるところを、5分のタイマーで区切ります。短編を最後まで読み切れないので、モデルの助けが必要になる設計です。
参加者は、データラベリング企業のSurge AIを通じて雇った人たちです。各タスク5人ずつの2グループに分けましたが、集計に使ったのは各グループの4人です。残りの1人は、モデルの助けなしでも他の4人を大きく上回りました(MMLUで84%対57%、QuALITYで89%対49%)。この人たちを含めると「参加者には何かが欠けている」という前提が崩れるため、除外したと論文は述べています。
比べた条件は5つです。人単独(個人平均と、4人の確信度つき多数決)、モデル単独(ゼロショット)、少数例つきのモデル(MMLUのみ)、最良のモデル(best-of-20)、そして人とモデルの対話です。
最良のモデルは、思考連鎖の推論を20本生成し、選好モデルの採点が最高のものを土台に答えさせたものです。人とモデルの対話では、参加者は対話ウィンドウでモデルに自由に質問し、納得できる答えを選びます。
実験結果 — 対話だけで最大36ポイントの改善
結果を並べると次のとおりです(検証セット、正答率)。
人だけ vs 人+モデル(個人平均の正答率)
MMLU 人単独
57.2%
モデルの最良は65.6%
MMLU 人+モデル
75.4%
4人の多数決は78.0%
QuALITY 人単独
48.6%
モデルの最良は66.9%
QuALITY 人+モデル
76.8%
4人の多数決は86.0%
冒頭の「約10ポイント」は、人とモデルの対話(MMLU 75.4%、QuALITY 76.8%)が、最良のモデル(65.6%、66.9%)を上回った幅です。ゼロショットのモデル(MMLU 57.2%、QuALITY 59.2%)とは、約18ポイントと、さらに大きく開きます。
「最大36ポイント」の出どころはQuALITYです。4人の確信度つき多数決で、人単独は50.0%でしたが、モデルと対話すると86.0%まで上がりました。個人の平均で比べると、上がり幅はMMLUで約18ポイント、QuALITYで約28ポイントです。
もう一つ見落としやすいのが確信度です。参加者の確信度は、モデルを使うとMMLUで54%から80%、QuALITYで38%から75%に上がりました。ここで、4人の多数決が最大の確信(99%)に達した回答だけを取り出すと、正答率はQuALITYで88%(89問)、MMLUで81%(84問)でした。「全員が自信を持った」ことと「合っている」ことは一致しないのです。
対話の長さも記録されています。MMLUでは1問あたり平均10.9ターン、QuALITYでは6.3ターンで、タイマーのあるQuALITYのほうが短く済みました。
参加者が見つけた検証のしかた
参加者は、助けを借りながらモデルを疑う方法を自分で編み出しました。論文が報告した型のうち、QuALITYで効いたものを順に並べます。
QuALITYで使われた確認の型
- 1
質問して、本文の引用を求める
「答えが書かれている箇所を引用してください」と頼みます。引用が本文にあるかを自分で確かめれば、モデルの答えの裏取りになります。
- 2
引用がなくても、出てきた語で本文を検索する
言い換えで答えられた場合でも、モデルが挙げた固有の語句(物語中の道具や地名など)で本文を探せば、解釈の当否を確かめられます。
- 3
確認済みの事実を前提にして聞く
「Maitlandはパーティーにいましたか」ではなく、「Maitlandがパーティーにいなかった理由を教えてください」と聞く、という工夫です。確かめ済みの情報を問いに織り込むことで、詳細を引き出します。
MMLUでは、選択肢を1つずつ「正しいか、誤りか」の二択として聞き、そのたびに会話をリセットする方法が使われました。論文の参加者メモによれば、二択に絞るとモデルが「もっともらしい文脈をでっち上げて答えを売り込む」ことが減りました。複数の戦略を、リセットを挟みながら1問に重ねがけして、答えを相互に突き合わせる使い方もありました。
モデルの得意・不得意も見えてきました。事実の呼び出しや単一の答えがある問いは信頼しやすい一方、長い推論の連鎖と、とりわけ算術は疑うべき対象だったようです。微積分は解けるのに足し算が怪しい、という報告も参加者メモにあります。解釈を問う問い(物語の主題など)では、モデルが存在しない内容を作ったり、弱い手がかりに飛びついたりしました。
もう一つの癖は、訂正への従順さです。参加者が推論の誤りを指摘すると、モデルは前提を素直に改めます。ありがたい性質ですが、参加者の思い違いにまで合わせてしまうことがありました。
この結果を読むときの限界
論文自身が、この結果から「単純な対話戦略が将来の高性能なシステムの監督に十分だ」とは結論できないとして、6つの理由を挙げています。
- 簡略化した設定: 曖昧さのない選択式という管理された状況で、モデルの追加学習も試していません。
- 毎回の正解開示: 参加者は1問ごとに正解を知らされます。本来の難所である「自分のやり方が展開できるほど信頼できるか」を見極める負担が、実験から消えています。
- 引き出せる知識の限定: 直接質問して出てくる知識しか見ていません。追加の動機づけや解釈可能性の技術で、より多くを引き出せる可能性があります。
- 参加者の除外: 10人中2人を外したことで、助けがまったく効かない場面が見えにくくなっています。
- 高リスク用途への適用: 参加者は、自信たっぷりの誤った回答を信じてしまうことがありました。論文の付録には実例が載っています。高リスクな場面での利用を裏づけるほど強い結果ではありません。
- 訓練分布との近さ: 選択式の問題はウェブ上にありふれており、モデルはある程度その種の課題で訓練を受けています。論文は、スケーラブルな監督が最も効くのは、訓練で慣れた課題から大きく外れた作業を頼む場面だと見ています。
Claudeのレビュー実務に重ねると
この論文の主眼はAIアラインメントの基礎研究です。ただし、Claude Codeが書いたコードを分野に詳しくない人がレビューする場面は、構造が似ています。参加者が使った型を、レビューの動きに置き換えて読めます。
- 「本文の引用を求める」は、「この判断の根拠になるコード行・ドキュメントの該当箇所を示して」と頼む動きに対応します。
- 「選択肢を1つずつ二択で聞く」は、変更点を1件ずつ「この変更は意図どおりか」と聞き直す動きに近いです。
- 「リセットして別の戦略で聞き直す」は、新しい文脈で検証を頼む設計と同じ発想です。実装したセッションとは別のサブエージェントに差分を見せる敵対的レビューがその一例です。
ただし、これは論文が示した効果の延長で書いた類推です。論文の実験は選択式の問題に限られ、コードレビューのように正解が一つに決まらない作業では、同じ幅の改善が出るかは分かりません。訂正に従順だという癖と、自信のある誤答を信じてしまう例は、レビューでも同じ形で現れうる点です。指摘を受けて直したモデルが、的外れな指摘にまで合わせていないかは、人が見るほかありません。
debateやmarket-makingとの違い
論文は、sandwichingで試せる監督手法の例として、対話以外のものも挙げています。
debateは、モデルに答えを提案させたうえで、その答えに賛成する側と反対する側を交互に演じさせ、人間の審判が議論をもとに選ぶ方式です。完全な形では、2つの立場に敵対的な動機を与える訓練目標が要ります。market-makingは、1つのモデルが審判の信念を毎ターン最も大きく動かす論拠を作る、debateの派生です。長期の先読みをモデルに促さずに同じ目的を果たすことを狙っています。
この2つは、誤った答えの側に立つモデルにも最も説得力のある証拠を出させます。論文はこれを欠点ではなく、sandwichingとの相性の良さとして書いています。善良なモデルでも能力のあるずれた振る舞いを見せうるので、実験が一層難しく、現実に近い試練になるからです。
このほか、人間が評価補助用のモデルを使いながらRLHFで監督する系統があります。自己批評・増幅・再帰的報酬モデリングがこれにあたり、論文はWu et al. (2021)とSaunders et al. (2022)を挙げています。今回の対話は、これらのどれよりも単純な「ただ聞いてみる」戦略です。論文の結びは、debate、market-making、再帰的報酬モデリングの実証を待つと述べています。
まとめ
人とモデルの対話は、難問で人単独もモデル単独も上回りました。ただし、4人全員が最大の確信を示した回答でも、正解率はQuALITYで88%、MMLUで81%です。対話で上がった確信を、そのまま正しさの証拠として扱えるわけではありません。
Claudeの出力をレビューするときも、同じ読み方が使えます。裏取りできる引用や根拠を出させ、聞き方を変えて答えを突き合わせる。その手間をかけてもなお、自信のある誤答が残る前提で見るのが、この論文から持ち帰れる判断です。