AnthropicのRLHF論文 — Claudeの対話学習の原点を読む

RLHF論文とは何を示した研究か

「Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback」は、Anthropicが2022年4月に公開した論文です。選好モデリング(preference modeling)とRLHFを組み合わせて、有用(helpful)かつ無害(harmless)な対話アシスタントを学習させる手法を実証しました。この論文はAnthropicが対外的に示したRLHF実装の原点であり、後のConstitutional AI論文が「置き換える対象」として明示的に参照する土台にもなっています。

論文の要旨で強調されているのは3点です。①アライメント学習がほぼ全てのNLP評価の性能を改善すること。Pythonコーディングや要約のような専門スキルの学習とも両立します。②選好モデルとRL方策を週次で更新し続ける「iterated online training」という反復オンライン学習の枠組み。③RL報酬とKLダイバージェンス(方策と初期状態との距離)の平方根がほぼ線形の関係を持つという頑健性の分析です。

有用性と無害性を分けて集めるデータ収集の設計

Anthropicは有用性と無害性を意図的に別々のデータセットとして収集しています。有用性タスクでは、クラウドワーカーに文章作成・質問応答・意思決定の相談といった純粋にテキストベースの作業でモデルを使ってもらい、より役立ち正直な応答を選ばせます。無害性タスクでは逆に、クラウドワーカーに「レッドチーム(red-team)」として振る舞ってもらいます。銀行強盗の計画を手伝わせる、有害な言葉を引き出すといった、モデルから有害な応答を意図的に引き出す会話をさせ、より有害な(悪い)応答を選ばせます。

この収集方法は、有用性と無害性が本質的に緊張関係にあるという前提に立っています。無害性だけを重視する選好モデルは有用性の評価で著しく悪い性能(チャンス以下)を示し、逆もまた同様だったと報告されています。それでも両方を混ぜたデータで訓練した選好モデルは、有害な要求は丁寧に断りつつ必要な場面では有用に振る舞うという、両立した挙動を学習できたとされています。

データセットの規模と3段階の収集

論文はデータを3つの時期に分けて収集しています。最初は初期モデルからのサンプル、次に初期の選好モデルに対するリジェクションサンプリングを使ったデータ、最後に「オンライン」RLHFで訓練したモデルを使ったデータです。静的(static)データセットは、初期モデルから集めたbase段階(有用性比較44,000件+レッドチーム比較42,000件)と、リジェクションサンプリングによるRS段階(有用性比較52,000件+レッドチーム比較2,000件)の2つで構成されます。これに続くオンライン段階は22,000件の有用性比較(レッドチームデータなし)で、約5週間かけて週次更新されたと記録されています。

クラウドワーカーの管理についても詳細な記述があります。全データの約80%を担った約20名の「選抜」ワーカーをMTurkとUpworkの両方で確保し、Slackチャンネルで直接やり取りして公正な報酬を支払ったといいます。Anthropicの研究者とクラウドワーカーの間の合意率は約63%にとどまったことも正直に記録されており、選好という主観的なタスクの難しさを示しています。

iterated online trainingが解決した問題

論文が最も強調する技術的な工夫が、選好モデルとRLHF方策を週次で更新し続けるiterated online trainingです。静的なデータセットを1回集めて訓練する方式とは異なり、更新されたRLHFモデルを再びクラウドワーカーとの対話に投入し、そこで得られた新しい会話データでまた選好モデルを更新するというループを回します。

この反復により、モデルが実際に生成しがちな応答の分布(ロングテール)をデータが追いかけられるようになり、クラウドワーカーの評価で明確な性能向上が確認されたと報告されています。静的な1回限りの収集では、モデルが訓練後に到達する応答パターンをデータが先回りしてカバーできないという弱点があり、オンライン更新はこれを補う設計です。

報酬とKLダイバージェンスの平方根が線形に関係する

もう一つの重要な分析が、RL訓練中の報酬(選好モデルのスコア上昇)と、方策が初期スナップショットからどれだけ離れたか(KLダイバージェンス)の関係です。論文は、学習の初期フェーズにおいて、報酬の伸びがKLダイバージェンスの平方根とほぼ線形の関係にあることをすべてのRLHF実行で観測したと報告しています。

この関係は、RL訓練がどこまで進めば報酬が頭打ちになるか、あるいは方策が初期状態からどれだけ逸脱したら過学習(選好モデルへの過剰最適化)が始まるかを見積もる実用的な指標として使われています。論文は50/50分割で訓練した2つの選好モデルを使い、一方に対してRL訓練しながらもう一方で評価するロバストネス実験も行っています。大きな選好モデルほど頑健で、RLHF訓練が進むにつれて過学習が増える傾向を確認しています。

正直さへの言及と、プロの書き手との比較

論文は正直さ(honesty)を単独のテーマとして正面から扱ってはいませんが、その理由も明記しています。純粋な人間フィードバックより効率的で効果的な技術が正直さの学習には別途必要だろうという判断です。ただし実務的な工夫は施されており、クラウドワーカーに「嘘をつくことは有用ではない」と明示的に伝え、有用な応答だけを評価するよう指示したところ、モデルは正直さの評価でも改善が見られたと報告されています。一方で、クラウドワーカーがモデルの発言を厳密にファクトチェックしていたわけではありません。機能しないURLを含む応答が好まれてしまう例のように、検証が甘い「嘘」も見逃されていた点を論文は正直に記録しています。

もう一つ興味深いのが、プロの書き手との比較実験です。Anthropicは高品質な有用・正直な応答を書けるプロの書き手を雇い、モデルの応答と書き手の応答をクラウドワーカーに比較させました。その結果、オンライン学習で訓練したHHモデルの応答が、プロの書き手の応答より好まれたと報告されています。サンプルの恣意的な選別を避けるため、1プロンプトあたり17サンプルを生成し、オンラインHH選好モデルでランク付けした中央値のサンプルだけを提示する手続きを取っています。

InstructGPTやLaMDAとの違い

論文はOpenAIのInstructGPTやGoogleのLaMDAとの違いにも触れています。InstructGPTは教師あり学習段階を含みますが、この論文のファインチューニングは(コンテキスト蒸留を除けば)純粋にRLだけで行われている点が異なります。より大きな違いは、InstructGPTが無害性の学習や有用性と無害性の緊張関係を扱っていない点、そして選好モデルを6Bパラメータより大きくは訓練していない点です。

この論文は「オンライン」訓練でクラウドワーカーとやり取りするモデルを継続的に更新した点を独自の貢献として位置付けています。要約やコーディングのような専門スキルの学習とアライメントが両立すること、有用性と無害性の緊張関係を明示的に研究した点も同様です。手順自体はInstructGPTやLaMDAより単純で、必要な要素は人間フィードバックデータの収集・選好モデリング・RLHF訓練の3つだけだと結論付けています。

この論文がClaudeの対話設計に残したもの

この論文は、Anthropicが対外的に公開した最初のRLHF実装の全体像です。有用性と無害性を分けて集め、両者のトレードオフを選好モデルの合成で解決するという設計は、その後のConstitutional AI論文でも継承されています。Constitutional AI論文は、このRLHFフェーズの「人間による無害性ラベル」の部分だけをAIフィードバックに置き換えたものです。有用性データの収集や選好モデリングの基本構造は、この論文が敷いた土台の上にあります。

iterated online trainingの発想、つまりモデルを実運用に近い形で回しながら継続的にデータを更新する設計は、後続の研究の系譜にもつながっています。モデル自身にアライメント上の欠陥を継続的に見つけさせ修正させるAutomated Alignment Researchersがその一例です。

まとめ

このRLHF論文は、有用性と無害性を別々のデータセットとして集め、選好モデルで合成し、週次で更新し続けるiterated online trainingでモデルを改善するという、Anthropicの対話アシスタント学習の基本形を示しました。報酬とKLダイバージェンスの平方根の線形関係という頑健性の分析も含め、この論文の設計はConstitutional AIをはじめとする後続研究が明示的に参照する原点になっています。

RLHFが人間ラベルに依存する部分をAIフィードバックへ置き換えたConstitutional AIの詳細は、原則リストで無害性を学習する仕組みを扱った記事で読めます。この論文が示した「有用性と無害性を分けて集める」という設計判断が、なぜConstitutional AIでも維持されたのかを追う補助線になります。