Feature Steeringの実験 — Claudeの社会的偏見を特徴量操作で抑える

Anthropicが2024年10月25日に公開した実験は、SAE(sparse autoencoder、疎なオートエンコーダ)で見つけた特徴量を人為的に強めたり弱めたりするfeature steering(特徴量操作)が、Claude 3 Sonnetの社会的偏見をどこまで軽減できるかを定量評価したものです。結論は「効くが両刃」でした。狙った偏見は動かせる一方、意図しない副作用(off-target effects)と能力低下が同時に起きます。実験設計と数値を追います。

Feature Steeringとは何か

Feature Steeringとは、SAEで学習した解釈可能な方向(特徴量)の値を、モデルの内部状態(residual stream)に定数として加算し、出力を意図的に変える手法です。Anthropicは以前の論文で、Golden Gate Bridgeに関する特徴量を強めると、モデルが何を聞かれても橋の話をし始める、という質的な実験に成功していました。今回の研究は、この手応えを定量評価に昇格させたものです。

対象としたのは社会的偏見・政治的思想に関連する29の特徴量です。11種類の社会的偏見を測る2種類の評価と、モデルの一般能力を測る2種類の評価、合わせて4種類の評価を全29特徴量に対して実施しました。全評価×全特徴量の組み合わせを測ることで、「その特徴量がどれだけ狙った通りに効き、能力を犠牲にしていないか」を横並びで比較できる設計です。

能力を壊さない操作量の「スイートスポット」

Feature Steeringには、能力を落とさずに効かせられる操作量の範囲(sweet spot)が存在し、それが29特徴量すべてでほぼ同じ範囲に収まりました。これが本実験で最初に確認された最重要の結果です。

操作の強さを表す「steering factor」を-20から20まで振ってMMLU(一般知識ベンチマーク)の正解率を測ったところ、-5から5の範囲では正解率がほぼ維持され、それを超えると急激に低下しました。PubMedQA(医療知識ベンチマーク)でも同様の傾向が確認されています。この−5〜5の範囲が、以降の偏見評価すべてで基準として使われています。

狙った偏見は動く — ただし副作用付きで

BBQベンチマークでは、「複数の視点とバランス」という特徴量をsteering factor 5まで強めると、BBQの総合偏見スコアが約3%低下し、年齢による偏見は17%、障害の有無による偏見は7%それぞれ減少しました。狙った通りに効いた例です。

一方、「性別バイアス意識」という特徴量を-5から5まで強めると、性別に関する偏見スコアはむしろ10%増加しました。ラベルは「性別バイアスへの言及に反応する特徴量」であって、そのバイアスを減らす方向に効くとは限らないという注意点をAnthropicは明記しています。特徴量のラベルは自動化された手法で「どの話題に反応するか」を示しているだけで、出力への影響の方向性までは保証しないのです。

さらに厄介な発見がoff-target effects(意図しない副作用)です。「性別バイアス意識」特徴量を強めると、性別とは直接関係のない年齢バイアスのスコアも13%動きました。この特徴量が年齢に関する文脈で発火しているわけでもないのに、出力レベルでは年齢バイアスに影響が及んでいます。

政治的立場でも同じ構図が繰り返される

model-written evalsデータセットを使い、中絶・移民についての選択傾向も測定されました。「反中絶(pro-life)」特徴量を強めると反中絶の選択が50%増加し、「左派政治思想」特徴量を強めると同じ選択が47%減少しました。これは直感どおりの結果です。「政治的中立性」特徴量は中立寄りの選択を32%から50%まで押し上げました。

移民の話題でも似た構図です。「差別への意識」特徴量を強めると反移民的な選択が25%減少しました。ここでもoff-target effectが観測されています。移民の文脈で発火するわけではない「反中絶」特徴量が、移民の話題における反移民選択に21.6%という、移民専用の特徴量(3.9%)を上回る影響を与えたのです。特徴量同士が独立に働いているわけではなく、概念の間に相関関係が埋め込まれている可能性を示唆しています。

副作用なしで偏見だけ下げた例外的な特徴量

すべての特徴量が副作用を伴ったわけではありません。「中立性と公平性(Neutrality and Impartiality)」と「複数の視点とバランス(Multiple Perspectives)」の2つの特徴量は、BBQの9つの偏見カテゴリすべてでスコアを一貫して下げ、しかも能力評価への影響はほぼ見られませんでした。年齢・障害の有無・外見に関する偏見で特に大きな低下が確認されています。

ただし「中立性と公平性」特徴量はBBQの正解率をわずかに下げる副作用があり、「複数の視点とバランス」特徴量の方が能力を維持したまま偏見を下げる、より扱いやすい候補だったとAnthropicは報告しています。

評価に使った2つのデータセットの中身

社会的偏見の評価に使われたBBQ(Bias Benchmark for QA)は、年齢・障害の有無・性別・外見など9つのカテゴリで偏見を測る多肢選択式ベンチマークで、Anthropicが自社のモデルカードでも継続的に使っている指標です。政治的立場の評価には、model-written evalsデータセットの一部である中絶・移民をテーマにした主観的な多肢選択式の質問セットが使われました。

いずれも自動評価であることの限界はAnthropic自身が認めています。多肢選択式の設問は、実際の対話で起きうる偏見のニュアンスを完全には捉えきれません。とはいえ、29特徴量×4評価という組み合わせを同じ物差しで反復測定できる利点があり、質的な観察だけでは見えなかった「効きの強さのばらつき」を初めて数値化できた点に価値があります。

Feature Steeringの限界と今後の方向

Anthropicが挙げた限界は3点です。1つ目は評価方法そのもので、静的な多肢選択式評価は能力の一部しか捉えられません。人間の評価によるElo比較のような、より包括的な評価手法が今後の課題です。2つ目は分析範囲の狭さで、数百万ある特徴量のうち29個、評価は5種類に限定されています。3つ目は精度の限界で、サンプリングベースの確率推定にはノイズが伴います。

学んだ教訓として最も重要なのは、特徴量が発火する文脈と、それを操作したときの出力への影響は必ずしも一致しないという点です。発火する文脈から効果を予測できるという前提そのものが崩れており、実際に操作して評価するプロセスを経ないと安全性を保証できません。今後の方向性としては、SAEの規模拡大(現状は3400万パラメータ)、Human入力側ではなくAssistant出力側だけを操作する精密な手法、プロンプトエンジニアリングとの比較(予備実験では同程度の効き目と限界を持つという結果が出ている)、そして単一特徴量ではなく特徴量同士の相互作用(circuits)の研究が挙げられています。

Feature Steeringはどこまで実用に近いか — 編集視点

この実験の最大の価値は、「効きます」という質的な成功例(Golden Gate Claude)を、定量評価で慎重に検証したところにあります。29特徴量というスコープの狭さを差し引いても、「発火文脈から効果を予測できない」という限界は、Feature Steeringを本番の安全対策として使う前に必ず踏むべき検証ステップを明らかにしたと言えそうです。

一方で、副作用の少ない「中立性・複数視点」特徴量が見つかったことは楽観材料です。Features as Classifiersの実験が「特徴量を分類の入力として読む」方向だったのに対し、本実験は「特徴量を操作して出力を変える」方向であり、同じSAE由来の特徴量でも用途によって成熟度に差があることが見えてきます。読み取り(分類)側の方が副作用の管理がしやすく、操作(steering)側はまだ副作用のマッピングが手探り段階、というのが2024年時点の実情です。

活性化を操作するのではなく読み出す方向の研究としては、Natural Language Autoencodersが活性化を自然言語で説明する手法も参考になります。両者を並べると、Anthropicの解釈可能性研究は「モデル内部を読む」路線と「モデル内部を書き換える」路線の双方を並行して育てていることが分かります。

まとめ

• Feature Steeringは特徴量をresidual streamに加算してモデル出力を変える手法で、社会的偏見や政治思想に関わる29の特徴量を対象に定量評価された
• 能力を落とさず操作できる「スイートスポット」はsteering factor -5〜5で、29特徴量すべてでほぼ共通していた
• 狙った偏見は動かせるが、性別バイアス特徴量が年齢バイアスも13%動かすなどoff-target effectsが頻発する
• 政治思想の特徴量でも、関係の薄い特徴量が主要特徴量以上の影響を与える例が確認された
• 「中立性と公平性」「複数の視点とバランス」の2特徴量は、能力を落とさず9つの偏見カテゴリすべてでスコアを下げた例外
• 発火文脈から出力への影響を予測できないという限界があり、実運用には定量評価のプロセスが不可欠