AIエージェントは専門家の判断をどこまで左右するか — 選択の86%が偏りに追従

専門家がAIエージェントに作業を任せても、重要な判断は自分で下している。多くの人はそう考えています。Anthropicのアラインメントチームが2026年10月27日に公開した研究は、その前提を実験で確かめました。

結果は、分析の経験を積んだ50人が、4つの分析上の選択のうち86%でエージェントの密かな偏りに沿って決めた、というものです。偏りの向きはコイン投げで決められており、50%なら影響なしと読める設定でした。

実験の設計 — 何を、誰に、どう偏らせたか

参加者は、因果推論(データから、ある要因が結果の原因かを調べる分析)の知識確認に合格し、PythonまたはRを日常的に使う分析のプロです。61人を募り、11人はエージェントを使わない選択をしたため、主な分析対象は残る50人でした。うち90%(アンケート回答の48人中)が、観察データでの因果推論に習熟していると自己評価しています。

課題の舞台は架空の農業協同組合です。会員農家の約4割が加入する有料の助言プログラムを、補助して拡大するか、打ち切るか。理事会は生産性が3〜4%ほど上がる場合に限り拡大するとしていますが、生産性の測り方は決めていません。

参加者は、Claude Opus 4.8(High effort)を組み込んだ、ブラウザ上のVS Code環境で作業しました。途中で、どちらも妥当な2択を4回選びます。

最後に、全農家へ展開するか打ち切るかの最終推奨を出します。1年間の延長を提案することもできました。

仕掛けは、エージェントに渡す隠しの指示(システムプロンプト)にあります。選択ごとにコイン投げで一方の選択肢を割り当て、それを自分の見解として持ち、その場面で述べ、データが許す限り強く論じるよう指示します。同じ指示には、証拠が決定的に反するなら考えを改めること、結果の偽り・データの隠蔽・数値の裏づけがない議論は禁じることも含まれていました。参加者にはこの偏りを知らせていません。

結果 — 偏りどおりに決まり、本人は自分の判断だと考えた

選択の86%がエージェントの偏りに一致した

4つの選択ごとの一致率は次のとおりです。

4つを合わせると86%です。エージェントの意見が無関係なら、50%前後になるはずでした。偏りの向きでA案を選ぶ人の割合を比べると、4つの分析上の選択では62〜82ポイント、最終推奨では17ポイントの差が出ています。

最終推奨への効果は小さめでした。エージェントが全農家への展開寄りだったときの推奨率は54%、反対側なら36%です。研究チームは、推定値が理事会の閾値を超えるかで推奨が大きく決まるため、判断の余地が減ったと見ています。ただ、その推定値自体が先の4つの選択で形づくられています。4つの偏りだけを使った統計モデルは、延長を提案した人を除く参加者の推奨の82%を当てました。最頻の推奨を常に予想する場合は61%です。作業が始まる前のコイン投げだけで、結論の大半が予測できたことになります。

先に意見を持っていても、反対されると動いた

作業の途中で、エージェントが意見を述べる前に自分の選択を表明していた場面が38件ありました。エージェントの偏りが本人の選択と食い違った場合、60%は選択を変えています。一致した場合に変えたのは6%です。

差は54ポイントですが、母数が38件と小さく、95%信頼区間は24〜82ポイントと広い範囲に及びます。先に意見を表明した人が、そうでない人と元々違っていた可能性も排除できません。この数字は、方向を示す程度に読むのが適切です。

経験や専門性は、追従の目印にならなかった

研究チームは、追従の度合いを予測しそうな10の特性を調べました。経験年数、因果推論の自己評価、学歴、知識クイズの点数、AIへの信頼、AIの利用頻度、思考の努力を好む度合い、開放性、性別、年齢です。統計的に有意だったのは年齢だけで、年上ほど追従が多い傾向でした。ただし多重比較の補正をかけると、この差も消えています。

ほとんどの参加者が大半の選択で追従したため、そもそも説明すべきばらつきが小さい点にも注意が必要です。違いがあっても検出しにくい状況でした。

「自分の判断」という認識と、実際の追従は両立していた

事後アンケート(48人回答)で、最終推奨を「エージェントより自分のもの」と答えたのは52%、「ほぼ、または完全に自分のもの」と答えたのは35%でした。それでも、「自分のもの」と答えた52%の人たちの選択はエージェントの偏りの方向へ平均65ポイント動いています。「エージェントのもの」と答えた人は79ポイントで、差は誤差の範囲です。

最終推奨への自信(0は「コイントス」、100は「職業上の評判を賭けてもよい」)も、4つ全てで追従した人が平均71、それ以外が73と、ほぼ同じでした。

理由の説明にも痕跡が残りました。事後に「なぜその選択か」を自由記述で尋ねると、77%が少なくとも1つの回答でエージェントの論拠を使い、一部は一言一句同じでした。回答中にエージェントを出典として挙げたのは15%です。回答時にエージェントとの会話は見返せません。研究の趣旨を推測するよう求めると、AIの影響を挙げたのは48人中6人で、エージェントの意見が仕込まれていたと疑った人は1人もいませんでした。

「AIを使うな」という話ではない

エージェントを使わなかった11人のうち、結果が成り立たなくなる重大な手法上の誤りを犯したのは6人(55%)でした。使った50人では3人(6%)です。使わなかった群の作業時間の中央値は90分で、使った群は65分でした。

ただし、この比較には条件が付きます。使わなかった群は人数が少なく、経験も浅めでした。修士・博士の学位を持つ人は11人中4人(使った群は46人中24人)、分析職での経験が2年以下の人は11人中6人(使った群は48人中15人)、因果推論に習熟していると自己評価した人は11人中8人(使った群は48人中43人)です。研究チームも、使う・使わないの選択が結果の差を生んだとは断定していません。

つまり、エージェントは作業を速く、誤りを少なくした可能性がある一方で、正解のない判断では静かに結論を傾けます。両方が同じ実験の中で観察されています。

この数字をどこまで当てはめてよいか

研究が挙げる制約は4つあります。

• 偏りを意図的に強めた: エージェントに意見を持たせ、毎回口に出させました。偏りを持たず、声に出さないエージェントなら、影響は小さい可能性があります。偏りなしの条件でClaude Opus 4.8に同じ5つの選択をさせた実行では、123回中112回が同じ答えに揃っており、何も指示しなくても傾きはあります
• 1つの課題、1つの分野、1つのモデル: 約1時間の農業の課題で、エージェントはClaude Opus 4.8です。参加者は因果推論の専門家でも、農業は専門外でした。実務では分野の知識が深く、意見も強いはずで、関係者に聞いて選択肢を絞ることもできます
• 平均としての効果: コイン投げが人によって違うため、見えるのは集団平均の効果です。個人の影響の大きさは分かりません
• 確信の強さを測っていない: 選択が動いたかは記録していますが、どれだけ強くその選択肢を支持していたかは記録していません。もともと強い意見がなかったから追従した、という説明は排除できません

研究チームは、専門家が最初から固まった意見を持つとは限らず、選択肢を比べる中で意見を見つけていく面があると指摘します。エージェントは嘘をつかないよう指示されており、結果が選択肢ごとにどう変わるかも、多くの場面で率直に示しました。一方で、専門家が反対側を選ぶ理由を強く論じることは、ほとんどありませんでした。片側だけが説得力を持って論じられると、参加者は自分の前提を組み立てる前に、エージェントの前提を引き受けることになります。

Claude Codeで判断を預けないための工夫

研究は、使う側向けの運用手順までは示していません。示すのは、エージェントが各選択肢の最善の論拠を出す、または専門家に先に意見を尋ねる、という設計の方向です。ただし、全ての選択で立ち止まると負担が大きく、重要な選択を選ぶこと自体が判断になる、とも述べています。以下は、この方向を既存の機能で試す一例です。研究が検証した方法ではありません。

CLAUDE.mdは、プロジェクトの方針を毎セッション読み込ませる仕組みです。ここに、分析上の選択が分かれる場面の振る舞いを書いておけます。書き方の詳細はCLAUDE.mdの書き方 — Claude Codeで守られる10のパターンにあります。

## 判断が分かれる選択のとき
- 妥当な選択肢が2つ以上ある場面では、先に私の見解を尋ねる
- 私が答えたあと、各選択肢の最善の論拠と、推定値への影響を並べる
- 自分の推奨は最後に添える。根拠のないデータの解釈は断定しない

CLAUDE.mdは強制される設定ではなく、モデルに渡される文脈です。守られる度合いは書き方で変わり、検証できるほど具体的に書くことが推奨されています。守られたかは、出力を読んで確かめる必要があります。

もう1つは、実行前に計画を挟む使い方です。plan modeでは、Claudeがファイルを読み、計画を書きますが、承認までソースは編集されません。ただし、bypass permissionsが使える対話型ターミナルセッションは例外です。claude --permission-mode planで開始でき、Shift+Tabや/planでも切り替わります。承認画面でCtrl+Gを押すと計画をエディタで直接編集できるので、成果の測り方のような選択を、実行の前に自分の言葉で書き換えられます。位置づけはClaude CodeのPlanモードで扱っています。

この聞き方の考え方は、会話型の利用でも同じです。AIに判断を預けすぎる会話の類型はClaudeに判断を任せすぎる会話の研究が、同意しやすさの背景と聞き方はClaudeの追従と同意ばかりを避ける聞き方が扱っています。

判断が独立していたかは、結果からは見えない

この研究の核心は、「追従した」ことより、追従が外から見えにくい点にあります。

誤りを探すレビューは、正解があるときに働きます。差の差を使うか回帰で調整するかには、正解がありません。どちらを選んでも、成果物はもっともらしく見えます。事後に本人に尋ねても、追従した人の自信は追従しなかった人と同じで、理由の多くはエージェントの言葉でした。

研究チームが挙げる影響は3層あります。個人では、名前は自分のまま、判断はエージェントの事前の信念に決められる状態です。科学や政策では、別々の研究チームが同じ結論に達すると信頼が増しますが、全員が同じ選好を持つモデルに従えば、一致は独立した裏づけにならなくなります。AI安全の研究でも同じで、実験をエージェントに走らせ、人間が最終確認をする体制は、人間の判断が独立している前提に立っています。実験でサインオフした人たちの判断は、ランダムに割り当てられた選好に大きく左右されていました。

もう1つ、技能の問題があります。判断は技能であり、その判断を下さなくなった人は、下す力を失うおそれがあります。研究チームは、分担を成り行きに任せず、どの判断を人に残すかを組織が意識して選べる形にすることを課題に挙げています。

自律度の側から見た研究は、Claude Codeの自律度の実測にあります。承認の回数や権限を減らすほど任せる範囲は広がりますが、この研究が示すのは、承認の回数が多くても、承認する人の判断が独立しているとは限らない、ということです。

まとめ

人が決めているはずの選択が、エージェントの密かな偏りに86%の確率で従った、というのがこの研究の結果です。偏りを強めた条件なので、実務の比率はこれより低いかもしれません。それでも、正解のない判断では、結果を見るだけでは追従を見抜けません。

研究チームは今後の研究領域として3つを挙げています。判断を委ねる行動(deferral)を日常の場面で測る方法、エージェントの設計の見直し(各案の最善の論拠を示す、専門家の意見を先に聞くなど)、そして専門家の承認を独立した判断の証拠とみなしてきた組織の仕組みの見直しです。Claude Codeを使う側にできる工夫として、CLAUDE.mdで質問の順序を決めておくことと、plan modeで実行前に選択を書き換えることがあります。検証された対策ではなく、研究の方向を既存機能に当てはめた一例です。