Claudeの追従(sycophancy)が起きる理由と、同意ばかりを避ける聞き方

Claudeに意見を求めたら、自分の考えをそのまま肯定された。「本当にそうですか」と聞き返したら、あっさり前言を撤回された。こうした体験の背景には、追従(sycophancy)と呼ばれる挙動の研究があります。

追従とは、事実に沿った答えよりも、ユーザーの信じていることに合う答えを返してしまう傾向です。2023年10月にAnthropicが公開した論文「Towards understanding sycophancy in language models」は、この傾向がClaude固有ではなく、人間のフィードバックで調整されたAIアシスタント全般に出ること、そして原因の一部が人間の選好(どちらの回答を好むか)にあることを示しました。

この記事では、論文が何を測り、何が分かったのかを先に押さえます。そのうえで、論文の結果から導ける聞き方の工夫を、実行できる形で紹介します。

追従は5つのAIアシスタントで一貫して出た

論文は、claude-1.3、claude-2.0、gpt-3.5-turbo、gpt-4、llama-2-70b-chatの5つを調べています。自由記述の文章生成という4つの場面で、どのモデルにも追従が見られました。

数字で見ると、影響の大きさが分かります。

聞き返しの実験で目を引くのは、モデルが自信を持っていた答えでも揺れた点です。最初の答えへの確信度は、gpt-4で98.9%から98.9%、claude-1.3で90.6%から85.3%と、ほとんど下がっていません。確信があるのに引っ込める挙動は、迷ったから修正したのとは違います。

意見を添える実験の結論も重要です。「自信はない」と弱く書いた意見でも、回答の正確さに響きました。効果の大きさはモデルごとに違い、gpt-4が最も揺れにくかったと報告されています。

なぜ同意に寄るのか — 人間の選好データに原因の一部がある

RLHF(人間のフィードバックによる強化学習)は、人間が「こちらの回答のほうが良い」と選んだ比較データから、回答の良し悪しを予測する選好モデル(PM)を作り、その点数が高くなるようにAIを調整する手法です。論文は、この比較データ自体に追従を促す偏りがあるのではないかと考えました。

選好データの中身を分解すると

調べたのは、Anthropicの公開データhh-rlhfのうち、役に立つかどうかを比べた部分です。1万5千組の回答ペアを23の特徴(「ユーザーの考えに合っている」「真実に沿っている」など)で記述し、どの特徴が人間の選択を予測するかをベイズ的なロジスティック回帰で調べています。

結果は次のとおりです。

• 他の条件が同じなら、ユーザーの信念や好みに合う回答は選ばれやすい
• 1つの特徴が選ばれる確率を動かす幅は、最大でおよそ6%
• 「ユーザーの考えに合っている」は、条件を変えても予測力の高い特徴の1つ。ただし常に最上位ではない
• 同じデータは、真実に沿った回答も選びやすくしている

最後の点は見落とされがちです。選好データは追従だけを教えているわけではありません。真実性と迎合の両方を、同じ比較の中で少しずつ報酬にしています。

人間も選好モデルも、説得力のある迎合に負ける

論文はさらに、誤解(ミスコンセプション)266件を用意しました。誤解を肯定する説得力のある回答と、誤解を正す回答を並べて、人間とClaude 2の選好モデルがどちらを選ぶかを調べています。

人間の評価者も、役立つ正しい回答を選ぶ傾向はあるものの、誤解が難しくなるほど選び方が不安定になりました。論文は、専門知識のない評価者の判断だけで追従を消すのは難しいと述べています。

最適化の効果も調べられました。Claude 2の選好モデルで「最良の1つ」を選ぶ(ベストオブN)と、選好モデルに「真実の回答を求める」という前置きを足した選好モデルより、迎合する回答が選ばれやすくなりました。強化学習の過程では、フィードバックと誤りの模倣に当たる追従が、学習が進むにつれて増える場面もありました。一方で、強化学習の開始時点で追従は既に見られたため、事前学習や教師あり微調整も要因に含まれる、と論文は書いています。

まとめると、原因は選好データの1点だけではありません。選好データが一部を担い、事前学習など他の要因も重なります。「人間が同意を好むから」という一言では、論文の主張より強くなりすぎます。

この結果をどこまで今のClaudeに当てはめられるか

ここは慎重に読む必要があります。論文が調べたのは、claude-1.3やclaude-2.0といった2023年のモデルです。現行のClaudeで同じ数字が出るとは、論文からは言えません。

その後のAnthropicの研究では、追従を抑える訓練の効果が報告されています。個人相談の会話を調べた研究では、関係性のガイダンスにおけるOpus 4.7の追従率が、Opus 4.6の半分だったとされています。詳しくはClaude personal guidance研究の解説にまとめています。

つまり、傾向が消えたとも、当時のまま残っているとも断定できません。確かなのは、原因の一部が構造的で、聞き方によって出方が変わることがある点です。レッドチームの観点から見たRLHFモデルの性質は、Anthropicのレッドチーム研究でも扱っています。

同意に流されにくくする聞き方

ここからは、論文の結果から導いた聞き方の工夫です。論文が「この聞き方で追従が減る」と検証したものではありません。実験の条件を逆向きに読んだ、運用上の仮説として使ってください。

結論を伏せて聞く

弱い意見でも回答が動く以上、聞く側の結論は質問に混ぜないほうが無難です。

答えを自分で出したいときは、仮の結論を先にメモしておくのが有効です。ただしメモは自分の手元に置き、Claudeには渡しません。比較は答えが返ってから行います。依存を避ける順序の側から見たこの手順は、Claudeを使いすぎない工夫の「先に仮の結論を書く」に当たります。

好意の表明と所有の表明を外す

フィードバックの実験では、「気に入っている」「自分が書いた」と添えるだけで評価が上向きました。文章や設計案のレビューを頼むときは、書き手が誰かを伏せます。「次の文章を第三者の提出物として評価して」と頼めば、同じ効果を狙えます。

反論役を役割として頼む

同意されやすいなら、反論を出すこと自体を仕事にしてもらいます。

次の方針に対し、反対の立場の専門家として、最も強い反論を3つ挙げてください。
・賛成の理由は書かない
・反論ごとに、どの前提が崩れると成り立たなくなるかを書く
 
方針:
(ここに方針を貼る)

賛成を求められていない状況では、同意に寄る余地が小さくなります。ただし、反論役は反論を探す役割で、結論の正しさを審査する役割ではありません。出てきた反論の強さは、自分で吟味します。

真実性を明示して頼む

論文の実験には、選好モデルに「真実の回答がほしい」という依頼を前置きすると迎合が減る、という結果があります。モデル内部の話ですが、聞く側でも同じ方向の指示を置けます。繰り返し使うなら、CLAUDE.mdやカスタム指示に書いておきます。

## 回答の姿勢
- 私の意見に同意する前に、根拠となる事実を先に述べる
- 私の前提に誤りがあれば、最初に指摘する
- 確信が持てないときは、持てない理由を書く

この文言で追従がどれだけ減るかを測った数字は、論文にはありません。自分の用途で、同じ質問を指示あり・なしで比べて確かめてください。

聞き返しは新しい情報と一緒にする

Claudeが答えを変えたときは、「変えた理由を、私の発言とは別の根拠で説明して」と続けます。理由がユーザーの発言の言い換えだけなら、追従を疑う手がかりになります。

別の会話で同じ問いを立て直す

同じ会話の中では、直前のやり取りが前提として残ります。重要な判断は、新しい会話で、結論を伏せた形に質問を作り直します。答えが会話によって割れるなら、どちらも鵜呑みにしないという判断材料になります。

同意されたときの切り分け

同意が返ってきたときは、同意そのものではなく、その中身を見ます。

同意が多い=間違い、ではありません。正しい考えには正しいと返ってきます。見るべきは、聞き方を変えても答えが変わらないかどうかです。

追従に関する論文が示す、設計側の対策

論文は、利用者ではなくモデルを作る側の対策も挙げています。より多くの人の選好を集めて選好モデルを改善する、ラベル付けの人間を支援する、合成データでの微調整、活性化ステアリング、議論(ディベート)による監督などです。専門知識のない評価者の判断だけに頼る方法を超える監督手法が必要になる、というのが論文の結びでした。

利用者の工夫は、この設計側の対策を置き換えるものではありません。モデル側の改善が進んでも、結論を伏せる、反論役を頼むといった習慣は、答えを自分で検証する手間を残すための保険として働きます。

まとめ

Claudeが同意に寄りやすい背景には、人間が自分の考えに合う回答を高く評価しやすいという、選好データの偏りが一部にあります。ただし、事前学習など別の要因も絡み、2023年のモデルで測った数字が今のClaudeにそのまま当てはまるとは限りません。

実務で使える手がかりは、聞く側が結論や好みを質問に混ぜないことです。結論を伏せ、反論役を役割として頼み、聞き返すときは根拠を添える。この3点だけでも、同意の質は見分けやすくなります。