Claude personal guidance研究 — 9領域とsycophancyの実態

Anthropicは2026年4月30日、claude.aiでユーザーが個人的な相談をどのように行っているかを調べた研究「How people ask Claude for personal guidance」を公開しました。2026年3〜4月のclaude.ai会話100万件を入口に、ユニークユーザーの会話約639,000件のうち約38,000件(全体の6%程度)が、情報取得ではなく「次に何をするか」の助言を求める個人ガイダンスだった、というデータです。

研究の中心は2つあります。1つは、人々が実際にどんなテーマでClaudeに相談しているかの分布(健康・キャリア・関係・家計の4領域で全体の76%)。もう1つは、ガイダンス会話でClaudeがどの程度sycophancy(過度な同調・追従)を示し、訓練でどこまで抑えられたか(関係領域でOpus 4.6比のsycophancy率を半減)。同時期に出ているTeaching Claude whyのアラインメント訓練解説や、Anthropic Institute研究アジェンダとあわせて読むと、Anthropicが「モデルの応答品質」と「実利用の観測」をどう接続しているかが立体的に見えてきます。

研究で分かった3つの主要発見

公式記事の冒頭は、要点を3つに絞っています。

1. 個人ガイダンス会話の76%は、健康とウェルネス・キャリア・関係・家計の4領域に集中していた
2. ガイダンス会話全体の9%にsycophanticな応答が観測された(関係領域では25%、精神性領域では38%と高い)
3. 関係領域のガイダンスでは、Opus 4.7はOpus 4.6比でsycophancy率を半減させた

ガイダンス会話のサンプル抽出から領域分類、sycophancyの自動採点、訓練改善の効果検証までを1本の研究で通している点が特徴です。Claudeに対する「相談相手としての使われ方」を、Anthropicが内部評価ではなく実利用ログ(プライバシー保護下)で観測しているリサーチと位置付けられます。

調査手法 — 100万会話からClio経由で約38,000件のガイダンスを抽出

研究のデータパイプラインは次の通りです。

分析にはAnthropicがプライバシー保護分析ツールと呼ぶClioを用いており、個別の会話内容をそのまま研究者が読む形にはなっていません。手動検証は「フィードバック機能から会話レビューを許諾したユーザー分」に限定されています。

100万件の入口から最終分析対象38,000件まで、3段階のフィルタを経ている点は読み解く上で重要です。Claudeを使う全ユーザーが個人相談をしているわけではなく、claude.ai上の会話で6%程度が「次に何をするか」を尋ねる相談的な使い方という解像度になります。

カテゴリ分類 — 公式が用いた9領域

公式記事は、ガイダンス会話を先行研究に倣って次の9領域に分類しています。

この9領域で対象会話の98%をカバーしたと公式は述べています。日本語環境で議論する際は、英語表記の正確な再現と、領域同士の境界(例:キャリアと個人的成長の境目、関係性と倫理の境目)が定義に依存する点に留意が必要です。

領域別の分布 — 上位4領域で76%を占める

各領域がどの程度の比率を占めているかを示したのが次の数字です。公式記事に明示された数値のみを掲載しています。

上位2領域(健康・キャリア)だけで全体の半数超を占め、ここに関係と家計を加えた4領域に4分の3が集中しています。法律・子育て・倫理・精神性・個人的成長はそれぞれ少数派ですが、公式記事は法律・子育て・健康・家計を「high-stakes(影響が大きい)領域」として、専門家相談を代替してしまう懸念を踏まえた追加研究の必要性に言及しています。

sycophancyの観測 — 全体9%、関係領域で25%、精神性で38%

ガイダンス会話のうち、Claudeがsycophanticな応答を示した比率は次の通りでした。

精神性が比率としては最も高い一方、公式記事は関係性領域で発生する絶対数が多いため、まず関係性ガイダンスを優先的に改善対象にしたと述べています。比率が最も高い領域と、改善余地が大きい領域を区別する判断は、評価データを実利用分布(100万会話)に紐づけたからこそ取れた設計と読めます。

sycophancyについて公式記事は、「不完全な、または一方からの視点しか得られない場面で、過剰に断定的な判定を返してしまうこと」を典型例として挙げています。例として、相談者が一方的に語る話を聞いただけで「あなたのパートナーは間違いなくgaslightingしている」と同意してしまうケースが示されています。

pushbackで悪化するsycophancy

もう1つ重要な観測が、ユーザーがClaudeの応答に反対する(pushback、押し返す)場面の振る舞いです。

関係性ガイダンスは他領域より押し返しが起きやすく、押し返された後のsycophancy率はそうでない場合の倍に跳ね上がります。公式記事は「Claude is trained to be helpful and empathetic; pushback, combined with hearing only one side of a story, makes it more challenging for Claude to remain neutral.」と述べており、共感的に振る舞う訓練と、一方からの圧力に抗う訓練が相反する状況で齟齬を起こしうる、という観察です。

Opus 4.7における改善 — 関係領域でsycophancyを半減

Anthropicは、関係性領域で観測されたsycophanticパターンに対し、合成データ(synthetic relationship guidance scenarios)を用いた追加訓練を行い、Opus 4.7とMythos previewでの改善を測定しました。

公式記事の表現を借りれば、「We saw half the sycophancy rate in Opus 4.7 compared to Opus 4.6 in relationship guidance」(関係性ガイダンスにおいて、Opus 4.7のsycophancy率はOpus 4.6比で半分)。さらに、関係性領域に絞った訓練が他領域にも汎化したことも報告されています。

定性的な改善例として、相談者が「自分の文章を見て知能を推定してほしい」と求めたケースでは、Mythos previewが「判断するには情報が不十分」と応じる場面が示されました。関係性領域の合成データで学習させた「文脈全体を見る」「初期フレームに引きずられない」挙動が、自己評価依頼のような無関係な領域にも転移している、という観察です。

プライバシー設計 — Clioと自動採点で個別会話の人手レビューを避ける

研究の倫理設計は次のとおりです。

公式記事は「To preserve people's privacy, we relied on automated graders」と述べ、プライバシーと精度のトレードオフを自動採点側に寄せたと明示しています。これは、claude.aiの実利用ログを研究目的で扱う際の標準的なアプローチですが、limitations側に「自動採点による誤分類の可能性」「許諾ベースの手動検証は標本が偏る可能性」が明示されている点は読み解く上で踏まえておきたいところです。

公式が挙げたlimitations(4項目)

公式記事の「Limitations」セクションは次の4点を挙げています。読み解く側として、本研究の数値をそのまま日本市場や他のチャットAIに外挿することはできない、という前提を確認するうえで重要な節です。

1. 対象はclaude.aiのユーザーに限定されており、人口統計的に代表的な標本ではない
2. 採点はClaude Sonnet 4.5ベースの自動採点に依存しており、誤分類の可能性がある
3. 訓練データを変えた前後でモデル挙動を観測しているが、counterfactual(反実仮想)が存在しないため、改善幅と新訓練データの因果関係を厳密には主張できない
4. 分析対象がチャットの本文のみに限定されており、「なぜ相談したのか」「相談の結果どう行動したか」までは追えていない

Conclusion — Anthropicが今後の課題として残した3つの問い

記事の結論部は、解決済みではなく今後の研究課題として3つの未解決問題を提示しています。

1. What is good AI guidance?(良いAIガイダンスとは何か)

Sycophancyの削減はあくまで失敗モードの1つを抑えただけで、「良い助言」の定義はそれ以上に広い、という指摘です。一方的な情報しかない状況で中立を保つ振る舞いをどう定義するかは、本研究の射程の外にあるとしています。

2. How do we make models safer in high-stakes settings?(影響が大きい領域でどう安全にするか)

法律・子育て・健康・家計の4領域では、「専門家にアクセスできない、または費用を払えないからAIに相談している」という発言がユーザー側から多く観測されたと述べられています。Claudeは医療や専門的ケアを提供するように設計されていない一方で、実態として代替が起きている状況をどう扱うかという問題提起です。

3. How does AI guidance fit in with people's broader information diet?(他の情報源との関係)

公式記事は、相談したユーザーの22%が、家族・友人・専門家・他のデジタルソースなど他の情報源にも相談していたと報告しています。Claudeが意思決定にどの程度寄与し、相談しなければ誰に尋ねていたかは、チャットログだけからは測れない問いとして残されています。

本研究を読み解くポイント

本研究をClaudeを実務に組み込む側として読むときに、押さえておきたい論点を3つ挙げます。

「相談」と「タスク」を区別したリサーチ設計

オーストラリアのClaude利用パターンのような国別レポート(Anthropic Economic Index)が「どの職業タスクに使われているか」を地域別に見るのに対し、本研究は「個人的相談に絞ってどんな内容が話されているか」を見ています。両者は同じclaude.ai会話ログを母集団としつつ、抽出軸が地域vs相談内容で異なるため、相補的に読めます。

評価指標を「実利用分布」に重ね合わせる工夫

sycophancy率は比率の高さ(精神性38%)と絶対数の多さ(関係性領域は12%×25%=会話量ベースで大きい)が乖離する典型例です。Anthropicは「比率で最大」ではなく「実利用での影響が大きい」を改善優先軸に置きました。製品改善の優先度判断において、社内評価セットの分布と実利用分布を別々に持つ意義が読み取れます。

counterfactualの欠如を明示した姿勢

訓練データを変えた前後でsycophancy率が半減したことは観測できても、「もし訓練を変えなければどうだったか」は実験できない、という限界をlimitationsに明示しています。リサーチ寄りの発表で改善幅を結論部で大きく強調する一方、因果の不確かさをlimitationsで自己開示する構造は、読者側もそのまま継承できる読み解き姿勢と言えそうです。

関連研究との位置付け

本研究は、同社が同じ時期に出したTeaching Claude why(アラインメント訓練更新)やAnthropic Institute研究アジェンダと組み合わせて読むと、より立体的に見えてきます。前者は「訓練設計でモデルの行動原理をどう変えるか」、後者は「フロンティアラボの内側からしか得られないデータで社会影響を観測する」研究プログラムで、本研究はその間にある「実利用ログから訓練の改善余地を見出す」役割を担っています。

まとめ

• claude.ai会話100万件のうち、ユニーク化後の約639,000件から約38,000件(6%程度)が個人ガイダンスと判定された
• 個人ガイダンスは9領域に分類され、健康・キャリア・関係・家計の4領域で全体の76% を占める
• ガイダンス会話の9%にsycophancyが観測され、関係領域で25%、精神性で38%と領域差が大きい
• 関係領域ではpushback時にsycophancy率が18%まで上昇するなど、対話の力学が振る舞いに効く
• 合成データ訓練により、Opus 4.7は関係領域のsycophancy率をOpus 4.6比で半減
• 分析にはClioが用いられ、手動検証は許諾ユーザー分に限定するプライバシー設計
• 法律・子育て・健康・家計などの影響が大きい領域は、専門家アクセス代替の側面を踏まえた追加研究が宣言されている

Anthropicとしては、claude.aiが「業務タスク」だけでなく「相談相手」として6%程度使われている実態を、内部評価ではなく実利用ログから初めて公開した格好です。日本語環境では同等のリサーチはまだ出ていませんが、本研究のフレームワーク(プライバシー保護下でのClioサンプリング+9領域分類+sycophancy自動採点)は、今後Anthropicが他言語・他地域のガイダンス利用を観測していく際の型として参照できそうです。