AnthropicのRLHF論文 — Claudeの対話学習の原点を読む
2022年にAnthropicが公開したRLHF実装の原点論文。週次で選好モデルを更新する「iterated online training」の仕組みと、報酬とKL距離の関係を読む。
RLHF論文は何を示した研究か
「Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback」は、Anthropicが2022年4月に公開した論文です。選好モデリング(preference modeling)とRLHFで、有用(helpful)かつ無害(harmless)な対話アシスタントを学習させる手法を示しました。
著者自身は、前作のHHH論文(Askell et al., 2021)を「step zero」、本論文を「step one」と呼んでいます。完成形ではなく、現在の能力水準で使えるシンプルで汎用的な手法の確立が狙いです。
要旨で強調されるのは3点です。
- アライメント学習は、ほぼ全てのNLP評価で性能を改善し、Pythonコーディングや要約のような専門スキルの学習とも両立する
- 選好モデルとRL方策を週次で更新し続ける「iterated online training」の枠組み
- RL報酬とKLダイバージェンス(方策と初期状態との距離)の平方根が、ほぼ線形の関係を持つ
有用性と無害性は、どう別々に集めたのか
データ収集の入口から、二つの作業は別物です。有用性では日常の相談をし、無害性ではわざと有害な応答を引き出します。
二つのデータ収集タスク
有用性
クラウドワーカーが、助言や作業の依頼などモデルとの自由な対話をします。二つの応答のうち、より役立ち正直な方を選びます。
無害性
銀行強盗の計画を手伝わせるなど、有害な応答を引き出す会話をします。選ぶのは、より有害な方です。
分けて集めるのは、二つが緊張関係にあるからです。無害性のデータだけで訓練した選好モデルは、有用性の評価でチャンスを大きく下回り、逆も同様でした。ただしモデルが大きくなるほど、一つの選好モデルが両方の分布で同時に精度を上げ、データの混合比にも頑健になります。
レッドチーム側の作業は、作業者にとって紛らわしいものでした。害の少ない方を選ばせる案を試した初期版では、作業者が混乱して記録の取り違えが起きたと脚注にあります。指示文をより明確にする必要があるとも認めています。
規模と作業者:誰が何件のラベルをつけたか
データは3つの時期に分かれます。1つの会話から、おおよそ4件の比較が取れます。
3段階のデータ収集
- base初期モデルのみ
有用性の比較44,000件と、レッドチームの比較42,000件です。
- RSリジェクションサンプリング
base段階で訓練した選好モデルを使って集め、有用性が52,000件、レッドチームは2,000件です。
- online週次更新のRLHFモデル
約5週間、おおむね週次で更新したモデルを使い、有用性の比較22,000件を集めました。レッドチームのデータはありません。
論文の結果の大半は、base段階とRS段階を合わせた静的データセットで得ています。オンラインのデータ収集と並行して実験していたためです。
データ収集に使ったのは、主に52Bの言語モデルです。base段階の相手は、HHH対話をプロンプトに入れた52Bモデルと同程度の「コンテキスト蒸留」モデル、RS段階はその選好モデルで選ぶモデルでした。
モデル同士の優劣は、作業者に2つのモデルと同時に対話させ、好まれた応答の勝率からElo(対戦成績の評価値)に換算します。論文の式では、Eloの差は選好モデルのスコア差のおよそ174倍です。つまり、選好モデルのスコアが1上がれば、Eloで約174点上がると見積もれます。
作業者の集め方にも癖があります。まずMTurkで、資格を持つ米国在住のワーカーを招きました。最も多く作業した約20名が、全データの約80%を占めています。この人たちの対話の洗練度と多様さを見て「選抜ワーカー」を決め、Slackとメールで直接やり取りしながら公正な報酬を払いました。Upworkでも別に雇っています。時給で払えるUpworkは質の高い対話を引き出しやすく、MTurkは作業が速く、データセットの約80%を担ったとのことです。
ラベルの質は、事前には選別していません。事後に調べると、Anthropicの研究者と作業者の一致率は約63%で、先行研究より低めでした。作業者の顔ぶれが途中で変わり、質が上がった可能性も論文は認めています。オンライン訓練の成果を評価するときの、交絡要因になります。
iterated online trainingは何の問題を解いたのか
動機は、選好モデルが高いスコア帯で較正(予測と実際の一致)を崩し、頑健さも落ちることでした。原因は、その帯域のデータが足りないことだと著者は考えています。
反復のしくみ
- 1
最良の方策で比較データを集める
その時点で最良のRLHF方策を作業者との対話に投入します。方策はスコアを上げるよう訓練済みなので、応答は分布の上位側に偏ります。
- 2
既存データと混ぜて選好モデルを作り直す
新しい比較データを既存データに混ぜ、選好モデルを新しく訓練します。
- 3
新しい方策を訓練して、最初に戻る
作り直した選好モデルでRLHF方策を訓練し直し、同じ手順をくり返します。
ここでの「オンライン」は、一般的な用法と違います。同じモデルを更新し続けるのではなく、反復のたびに新しいモデルを一から訓練します。単一の選好モデルやRLHFモデルをそのまま更新する変種は、試していません。
報酬と√KLが線形になる理由と、頑健性の実験
RL訓練中の報酬(選好モデルのスコア)の伸びは、方策と初期方策のKLダイバージェンスの平方根に、ほぼ比例します。論文は全てのRLHF実行で、訓練の初期にこれを観測しました。同じ選好モデルで訓練と評価をすれば、モデルサイズが違っても学習曲線はほぼ平行です。
理由は、論文が簡単な級数展開で説明しています。KLは変化量の2次から始まるので、報酬が変化量に線形なら、小さな変化の範囲で報酬はKLの平方根に比例します。この関係が実測で成り立つなら、RLHF訓練の大半は、初期の言語モデルからあまり離れない領域で進んでいることになります。報酬にはKLペナルティも加えますが、係数は0.001とごく小さな値です。
過最適化は、別の実験で調べています。静的データを50対50に分けて2つの選好モデルを作り、一方に対してRL訓練し、もう一方で採点します。訓練に使った側のスコアと、使っていない側のスコアは、約15万サンプルまで一致していました。それを超えると乖離し、訓練側だけが高く出ます。大きな選好モデルほど頑健で、RLHFが進むほど過学習は増えます。
能力は落ちないのか:アライメント税とボーナス
アライメント学習が性能を下げるなら、実用では選びにくくなります。論文の答えは、モデルの大きさで割れます。
小さなモデルでは、RLHFの後に多くの評価で性能が落ちます。論文はこれを「アライメント税」と呼びます。一方、13Bと52Bのモデルは、ゼロショットのNLP評価で改善し、少数例を示すfew-shotでは同等でした。コードで先に調整したモデルにRLHFをかけると、プログラミング評価のHumanEvalも上がります。要約という専門スキルを選好モデルの訓練に混ぜても、HH側にも要約側にも劣化は出ませんでした。
天井も示されています。親切に指示に従うモデルなら、ゼロショットがfew-shot並みになるはずだと著者は考えます。TruthfulQAでその差が埋まったのは、半分に届きません。バグ入りのコードを見せた場合も、RLHF済みコードモデルの優位は出ませんでした。
正直さの扱いと、プロの書き手との比較
論文は正直さを主題にしていません。純粋な人間のフィードバックより効率的な技術が、別に必要だろうという判断です。それでも、作業者に「嘘は有用ではない」と伝えて、有用で正直な応答だけを選ばせました。その結果、モデルは正直さの評価でもいくらか改善しています。
ただし、作業者がモデルの発言を厳密にファクトチェックしたわけではありません。動かないURLを含む応答が好まれることもあり、これは最も簡単に見破れる「嘘」の一つです。
プロの書き手との比較では、Upworkで雇った書き手に理想的な対話を書いてもらい、モデルの応答と並べて作業者に選ばせました。モデルの回答は、1プロンプトにつき17個を生成し、HH選好モデルのランクで中央値のものだけを使っています。作業者は、HHモデルを56%、有用性のみのモデルを51%の割合で書き手より好みました。二つの数字がずれるため、論文は書き手を一本の線でなく帯で示しています。
論文自身が、この結果の読み方に注意を促しています。書き手のプロンプトは敵対的でなく、モデルが解きやすい「軽い質問」が多かったためです。会話も、実用的な価値が出にくいものが目立つと書かれています。人間の書き手に勝った、と読むのは行き過ぎです。
InstructGPTやLaMDAとの違い
比較対象は2本あります。LaMDAは、強化学習を使わず、教師あり学習を組み合わせ、比較でなく絶対評価でデータを集め、外部情報で正確さを担保します。アライメント税の有無は調べていません。
InstructGPTは、RLの前に教師あり学習の段階を持ちます。この論文は、コンテキスト蒸留を除けば、微調整が純粋にRLだけで進みます。また、InstructGPTは無害性の学習も、有用性との緊張関係も扱っていません。選好モデルは6Bを超えず、性能低下を避けるために事前学習をRLに混ぜています。
論文自身が挙げる限界
7.1節は、成果の限界をはっきり書いています。
- 見ているのは平均的な振る舞いで、最悪の場合の頑健性は扱っていない
- 正直さは「表面をなぞっただけ」で、別の技術が要りそうだと書いている
- 人種・宗教への感情は改善したが、性別バイアスは元の言語モデルとの相関が強い。バイアスが減った証拠にはならない
- RLの安定性に問題があり、ハイパーパラメータ探索も初歩的なもの
- 技術が、モデルの能力向上に合わせて通用し続けるかは未知数
最後の点が、この論文のいちばん重い宿題です。人間のラベルに頼る方式は、モデルが人間の検証を超えると成り立ちにくくなると考えられます。続く研究が人間ラベルをAIフィードバックに置き換える方向へ進んだ背景には、この問題があるように見えます。
この論文がClaudeの対話設計に残したもの
有用性と無害性を分けて集め、選好モデルで合成する設計は、後続の研究に受け継がれました。Constitutional AI論文は、このRLHFのうち、人間による無害性ラベルの部分だけをAIフィードバックに置き換えたものです。有用性データの集め方や選好モデリングの基本構造は、この論文が土台です。
AIモデル自身にアライメント研究を進めさせるAutomated Alignment Researchersにもつながる流れです。
まとめ
この論文から持ち帰れるのは、「データの穴を、訓練したモデル自身に掘らせて埋める」という発想と、成果の限界の線引きです。数字を引用するときは、静的データセットの結果と、オンライン訓練や書き手比較の結果を区別すると、論文の主張とずれにくくなります。