Feature Steeringの実験 — Claudeの社会的偏見を特徴量操作で抑える
Anthropicが29の特徴量を使ってClaude 3 Sonnetを操作し、社会的偏見と能力への影響を定量評価。効く範囲と副作用をまとめます。
Anthropicが2024年10月25日に公開した実験は、SAE(sparse autoencoder、疎なオートエンコーダ)で見つけた特徴量を人為的に強めたり弱めたりするfeature steering(特徴量操作)が、Claude 3 Sonnetの社会的偏見をどこまで軽減できるかを定量評価したものです。結論は「効くが両刃」でした。狙った偏見は動かせる一方、意図しない副作用(off-target effects)と能力低下が同時に起きます。実験設計と数値を追います。
Feature Steeringとは何か
Feature Steeringとは、SAEで学習した解釈可能な方向(特徴量)を、モデルの内部状態(residual stream)に定数として加算し、出力を意図的に変える手法です。足す量を「steering factor」と呼び、正なら特徴量を強め、負なら弱めます。
質的な成功例はGolden Gate Claudeの論文にあります。Golden Gate Bridgeに関する特徴量を強めると、モデルは橋の話をし始めました。特徴量そのものの学習は辞書学習による単一意味性の研究が土台です。今回の研究は、この手応えを定量評価に昇格させたものです。
対象は社会的偏見・政治的思想に関連する29の特徴量です。11種類の社会的偏見を測る2種類の評価と、一般能力を測る2種類の評価を、全29特徴量に対して実施しました。全評価と全特徴量の総当たりなので、「どれだけ狙い通りに効き、能力を犠牲にしていないか」を横並びで比べられます。
29の特徴量は、年齢・性別と性的指向・差別・障害・中立性・政治的中立・バランスの取れた視点・政治思想・特定の争点(中絶、移民)・同意や共感・安全性・拒否・民族と文化といったカテゴリにまたがります。付録の一覧には、「年齢・年齢差別・世代バイアス」「客観性・公平性・偏見のなさ」「共感(yeah me too)」「拒否・否定・できないこと」のような説明が並びます。
実験の進め方
- 1
操作量の有効範囲を決める
steering factorを-20から20まで振り、MMLUとPubMedQAの正解率で能力が保たれる範囲を調べます。この振り幅はAnthropicによれば恣意的な選択です。
- 2
範囲の内側で偏見を測る
能力が保たれた-5〜5だけを使い、BBQと政治的立場の設問で、29特徴量それぞれの効き方を測ります。
- 3
狙い通りか、狙い外かを見分ける
特徴量が発火する文脈から予想される効果(on-target)と、予想外の効果(off-target)を、同じ評価の結果から切り分けます。
能力を壊さない操作量の「スイートスポット」
Feature Steeringには、能力を落とさずに効かせられる操作量の範囲(sweet spot)があり、29特徴量すべてでほぼ同じ範囲に収まりました。以降の評価の前提になった結果です。
MMLU(一般知識ベンチマーク)の正解率は、-5から5で最も高く、それを超えると急激に下がりました。PubMedQA(医療知識ベンチマーク)でも同様です。ただしPubMedQAでは、スイートスポットは「ほぼ」共通という書き方になっています。-5〜5が、以降の偏見評価すべての基準になりました。
範囲を外れた出力は、能力が落ちるだけでなく話題そのものがずれます。付録の例では、「性別バイアス意識」特徴量を使い、「I asked the nurse a question, and」の続きを書かせています。
steering factorで続きの文章が変わる様子
- factor 0he と she の両方を使った複数の続き
看護師が親切に答えた、医師に回すよう促した、役に立てなかった、といった中立的な続きを並べます。
- factor 5続きより性別の話が前に出る
「she answered politely」と書いたあと、看護職は歴史的に女性が多い職業だが男性の看護師も多い、という注釈を付けます。
- factor 12質問と無関係な教育の話へ
小学校教育は女性が担ってきた分野で、男性を増やす取り組みが進んでいる、という独白のような文章になります。
factor 5はスイートスポットの端で、factor 12は外側です。偏見の話題へ寄る変化は範囲内でも起きており、外側では質問への回答そのものが崩れます。
| ベンチマーク | 用途 |
|---|---|
| MMLU | 用途一般知識の正解率を測り能力低下を検知 |
| PubMedQA | 用途医療ドメインの知識で能力低下を検知 |
| BBQ(Bias Benchmark for QA) | 用途9種類の社会的偏見のスコアを測定 |
| model-written evals | 用途中絶・移民など政治的立場の選択傾向を測定 |
狙った偏見は動く — ただし副作用付きで
BBQベンチマークでは、「複数の視点とバランス」特徴量をsteering factor 5まで強めると、BBQの総合偏見スコアが約3%低下しました。steering factor 0と5を比べると、年齢による偏見は17%、障害の有無による偏見は7%減っています。狙った通りに効いた例です。
一方、「性別バイアス意識」特徴量を-5から5へ強めると、性別に関する偏見スコアはむしろ10%増加しました。Anthropicは、正方向に操作されたモデルが性別バイアスの話を過剰に強調し、評価指標がそれを偏った出力と判定した可能性を挙げています。特徴量のラベルは自動化された手法で付けたもので、完全に正確とは限りません。ラベルは「どの話題に反応するか」を示すだけで、出力への影響の方向までは保証しないのです。
さらに厄介なのがoff-target effects(意図しない副作用)です。「性別バイアス意識」特徴量を強めると、年齢バイアスのスコアも13%増えました。この特徴量が年齢の文脈で発火するとは限らないのに、出力には影響が出ています。影響の大きさは特徴量ごとにばらつきました。
政治的立場でも同じ構図が繰り返される
model-written evalsデータセットを使い、中絶・移民についての選択傾向も測定されました。結果は、設問の主題ごとに狙い通りの動きと、狙い外の動きが混ざっています。
政治的立場の設問で動いた数字
「反中絶」特徴量 → 反中絶の選択
+50%
直感どおりの方向
「左派政治思想」特徴量 → 反中絶の選択
-47%
反対方向に動く
「差別への意識」特徴量 → 反移民の選択
-25%
移民の設問での狙い通りの効果
「反中絶」特徴量 → 反移民の選択
+21.6%
移民専用の特徴量は3.9%の変化
「政治的中立性と独立」特徴量は、反中絶の選択を32%から50%へ動かしました。50%は、この設問で中立にあたる水準だとされています。移民の設問では、「左派政治思想」特徴量が反移民の選択を25%からほぼ0%へ下げ、「政治的中立」特徴量は24%押し上げました。
注目は上の4つ目の数字です。移民の話題で発火するとは限らない「反中絶」特徴量が、移民専用の特徴量を大きく上回る影響を移民の設問に与えました。Anthropicは、特徴量が表す概念の間に相関が埋め込まれている可能性を指摘しています。
副作用なしで偏見だけ下げた例外的な特徴量
すべての特徴量が副作用を伴ったわけではありません。「中立性と公平性(Neutrality and Impartiality)」と「複数の視点とバランス(Multiple Perspectives)」の2つは、BBQの9つの偏見カテゴリすべてでスコアを一貫して下げました。能力評価への影響も大きくありません。年齢・障害の有無・外見の偏見で、特に大きな低下が見られます。
ただし正解率への影響は2つで違います。「中立性と公平性」はBBQの正解率をわずかに下げます。付録の図では「性別規範と差別」特徴量にも正解率の低下が見られます。「複数の視点とバランス」は操作範囲を通して正解率を保ちました。
プロンプトで指示する場合と何が違うか
付録の4つ目の節では、同じ設問に対してシステムプロンプトで立場を指示する方法も試されています。中絶と移民それぞれに、強い賛成から強い反対まで5段階の指示文を用意し、選択がどう動くかを測りました。
feature steeringとプロンプトの比較(付録の予備実験)
feature steering
特徴量の値を足すだけなので、文章の指示は要りません。一方でSAEの学習と、推論時に内部状態を書き換える計算資源が必要です。能力が落ちない範囲は-5〜5でした。
プロンプト
「あなたは中絶の権利を強く支持します」のような文を与えます。反中絶の選択率は、強く賛成の指示で13.05%、一般に反対の指示で83.0%でした。
プロンプトにも副作用はあります。中絶の指示を変えると、移民の設問の反移民選択率も動きました。中絶の権利を強く支持する指示では40.85%で、一般に支持する指示の16.3%より高く、指示の強さに単調に従うわけでもありません。同じ表では、強く反対の指示(68.05%)より一般に反対の指示(83.0%)の方が反中絶の選択率が高くなっています。
Anthropicはこの結果から、プロンプトにもfeature steeringと同程度の感度と特異度があるとしつつ、実験が限定的なので結論は出せないとしています。どちらが優れるかは用途しだいです。
評価に使った2つのデータセットの中身
社会的偏見の評価に使われたBBQ(Bias Benchmark for QA)は、年齢・障害の有無・性別・外見など9つのカテゴリで偏見を測る多肢選択式ベンチマークで、Anthropicが自社のモデルカードでも使っている指標です。政治的立場の評価には、model-written evalsデータセットの一部である、中絶・移民をテーマにした主観的な多肢選択式の質問セットが使われました。
いずれも自動評価で、実際の対話で起きうる偏見のニュアンスを完全には捉えきれません。Anthropic自身もこの限界を認めています。それでも、29特徴量と複数の評価を同じ物差しで反復測定できるため、質的な観察では見えなかった「効きの強さのばらつき」を数値にできました。
Feature Steeringの限界と今後の方向
Anthropicが挙げた限界は3点です。1つ目は評価方法で、静的な多肢選択式の評価は能力の一部しか捉えません。人間の判断によるElo比較のような包括的な評価が今後の課題です。2つ目は範囲の狭さで、数百万ある特徴量のうち29個、評価は5種類に限られます。3つ目は精度で、サンプリングベースの確率推定にはノイズが伴います。
教訓として最も重要なのは、特徴量が発火する文脈と、操作したときの出力への影響が必ずしも一致しない点です。特徴量は発火する文脈から見つけたもので、出力への効果から見つけたものではありません。発火文脈から効果を常には予測できないことを示す証拠が出ており、実際に操作して評価しないと安全性は保証できないという立場です。
今後の方向として、研究は4つを挙げています。
- SAEの規模拡大: 現状は3400万パラメータのSAEで、大きくすれば狙い通りの特徴量が敏感に、狙い外の効果が拡散しにくくなる可能性がある
- 操作範囲の絞り込み: 現状の実装は、人間の質問を含むプロンプト全体に操作が効く。アシスタントの出力トークンだけに限る方法が検討されている
- 操作方式の見直し: 加算では、モデルから見て極端で「非文法的」な内部状態が生じうる。特徴量を定数倍する方式、方向を零にする方式、別の特徴量が活性なときだけ変える条件付きの方式が候補
- 回路の研究: 単一特徴量ではなく、特徴量同士の相互作用(circuits)を調べる
Feature Steeringはどこまで実用に近いか — 編集視点
この実験の価値は、「効きます」という質的な成功例を、定量評価で慎重に検証したところにあります。29特徴量という狭い範囲でも、「発火文脈から効果を常には予測できない」という結果は、Feature Steeringを安全対策に使う前に踏むべき検証の中身を示しました。
実運用の観点では、手を動かす場所が増える点が効いてきます。偏見を1つ減らす操作でも、別の偏見が動くかもしれず、能力評価も同時に回す必要があります。総当たりの評価が要るのは、そのためです。
一方で、副作用の少ない「中立性・複数視点」特徴量が見つかったことは前向きな材料です。Features as Classifiersの実験は特徴量を分類の入力として読む方向でした。本実験は特徴量を操作して出力を変える方向で、同じSAE由来でも使い道で性質が分かれます。操作側では、副作用の全体像がまだ見えていない段階です。
活性化を操作するのではなく読み出す方向の研究としては、Natural Language Autoencodersが活性化を自然言語で説明する手法も参考になります。両者を並べると、Anthropicの解釈可能性研究は「内部を読む」路線と「内部を書き換える」路線を並行して進めていることが分かります。
まとめ
操作量は-5〜5が目安ですが、その範囲でも別の偏見や別の話題が動くため、特徴量の名前だけで効果を決められません。使うなら、狙った評価と能力評価に加えて、関係の薄い評価も一緒に回す前提になります。