Claudeに分解プロンプトで質問すると信頼性が上がる理由

分解プロンプトとは、質問を小さな部分問題に割って別文脈で答えさせる手法

Claudeに難しい質問を投げるとき、多くの人はChain-of-Thought(CoT、段階的な思考の連鎖)で「順を追って考えて」と指示します。しかしAnthropicが2023年に公開した研究は、CoTよりも質問を小さな部分問題(サブ質問)に分解し、それぞれ別の文脈で答えさせたほうが、モデルの説明が実際の判断根拠に忠実になるという結果を示しました。

Claudeに「立ち止まって考える場」を与えるthink toolが思考の質を上げる設計だとすれば、分解プロンプトは思考の検証しやすさを上げる設計です。この手法は「factored decomposition(分解統合)」と呼ばれます。元の質問をいくつかのサブ質問に分け、それぞれを独立した会話文脈で答えさせてから、最後にサブ回答をまとめて最終的な答えを出させる構成です。CoTのように1回の生成で一気に理由付けするのではなく、部分問題ごとに考える場を分けるのが要点です。

なぜCoTだけでは検証にならないのか

論文の出発点は「モデルの出力そのものより、出力に至る過程のほうが検証しやすいはずだ」という発想です。答えだけを見て正誤を判断するより、途中の理由付けを読めれば、たまたま正解しただけなのか、正しい根拠で正解したのかを見分けられます。

ところがこの発想が成り立つのは、CoTが実際の判断過程を偽りなく描写している場合に限られます。論文はこの前提が崩れる2つのパターンを先行研究から引いています。ひとつは「バイアス推論」で、モデルが特定の属性に基づいて偏った答えを出しながら、CoTではその偏りに一切触れないというものです。もうひとつは「無視された推論」で、CoTを途中で打ち切ったり、あえて間違いを混ぜたりしても、最終的な答えが変わらないという現象です。答えが変わらないということは、そのCoTが実際には答えの決定に使われていなかったことを意味します。

factored decompositionは、この2つの問題のうち特にバイアス推論に効きます。サブ質問を元の質問文と切り離された文脈で答えさせることで、質問文に埋め込まれた属性情報などのバイアス源がサブ回答に紛れ込む経路そのものを断つ設計だからです。

「スクービー・ドゥーはカンガルーの袋に入るか」で見る具体例

論文が挙げる例がわかりやすい構造をしています。質問は「スクービー・ドゥーはカンガルーの袋に入るか」というものです。CoTでは、モデルは1回の生成の中で「スクービーは大型犬に近い体格だから何ポンドで、カンガルーの袋は何インチだから…」と一気に書き下し、答えを出します。

factored decompositionでは、これを2つのサブ質問に分けます。「グレート・デーンの平均的な大きさは」「カンガルーの袋の平均的な大きさは」という、それぞれ独立に答えられる問いです。この2つを別々の文脈で答えさせたうえで、最後に「以上をふまえて最も妥当な選択肢は」と統合質問を投げます。

この構造の利点は、元の質問に含まれるバイアスや余計な文脈がサブ質問の回答に紛れ込みにくいことです。CoTでは、質問文に含まれる情報(たとえば属性に関するヒント)がそのまま思考の流れに乗ってしまい、それを使ったこと自体が説明に現れないことがあります。サブ質問を別文脈で答えさせれば、この経路を構造的に断てます。

精度は多少落ちても、忠実性は大きく上がる

論文はCoT・CoT分解(1つの文脈でサブ質問と回答を並べる中間形態)・factored decomposition(別文脈で回答)の3手法を、ゼロショット・少数ショットのCoTと比較しています。

正答率だけならCoT分解(86.0)が最も高いものの、factored decompositionはそれに近い正答率を保ちながら(ゼロショット同士では72.8→85.6まで改善)、忠実性の指標を大きく引き上げています。バイアス文脈での正答率変化が最も0に近いのもfactored decompositionの少数ショット設定(-3.6)です。つまり、質問文に紛れ込んだバイアスに引きずられにくいことが数値でも裏付けられています。

論文はこの手法が万能ではないことも数値で示しています。factored decompositionの正答率(85.6/81.8)はCoT分解(86.0)よりわずかに低く、CoTの少数ショット(79.7)からの改善幅もCoT分解ほど大きくありません。忠実性を優先すれば正答率をわずかに手放すというトレードオフが、この研究の一貫した構図です。どちらを取るかは、その質問の答えをどう使うか次第になります。

Claudeでの実践 — 手動でサブ質問を切り出すプロンプト設計

この研究はモデルの訓練手法ではなく、プロンプトの構成方法に関する結果です。つまりClaudeの利用者が、追加のファインチューニングなしにそのまま応用できます。具体的には、複雑な質問をClaudeに投げる前に、次の順で会話を分けます。

1. 元の質問を要素分解し、独立して答えられるサブ質問を2〜4個書き出す
2. 各サブ質問を、元の質問文を見せずに個別のプロンプトとして投げる(新しい会話やコンテキストを使うほど分離効果が高い)
3. 得られたサブ回答だけを提示し、「以上の情報から最も妥当な結論は」と統合を依頼する

この手順は手間がかかるため、あらゆる質問に使う必要はありません。有効なのは、判断根拠の妥当性そのものが問われる場面です。たとえば技術選定の比較検討や、複数の制約条件が絡む設計判断で、後から「なぜこの結論になったか」を人に説明する必要がある場合には、分解して答えさせたほうが検証しやすい記録が残ります。

2023年の研究が2025年の発見にどうつながるか

この論文は2023年7月の公開で、CoTの忠実性そのものに疑問を投げた初期の研究の一つです。同時期にTurpin et al.(2023)がバイアスの混入を、Lanham et al.(2023)が思考過程を無視した回答(CoTを改変しても答えが変わらない現象)を報告しており、本研究はそれらへの対抗策として分解アプローチを提案する位置づけにあります。

その後2025年には、より新しい推論モデルでも同種の不忠実さが残ることが拡張思考の忠実性を検証した研究で報告されました。分解アプローチが解決したのはCoT忠実性問題の一部であり、報酬ハッキングのような能動的な欺瞞までは解消しないという点は、2025年の研究結果と合わせて読むと見えてきます。

CoT分解とfactored decompositionの違い

論文は分解手法を2種類比較しています。混同しやすいのでまとめます。

表の数値が示すとおり、CoT分解は正答率(86.0)ではfactored decomposition(85.6/81.8)をわずかに上回りますが、バイアス文脈での正答率変化(-11.3)はfactored decompositionの少数ショット設定(-3.6)に劣ります(factored decompositionのゼロショット設定は-16.0で、CoT分解より悪化します)。手間をどこまでかけるかは、正答率と検証可能性のどちらを優先するかで決まります。

よくある質問

分解プロンプトはClaude Codeでのコードレビューにも使えるか

考え方は応用できます。「このコードはなぜこの実装を選んだか」という複合的な問いを、「この関数の責務は何か」「このエラー処理はどの例外を想定しているか」のようなサブ質問に分け、それぞれ個別に説明させてから統合する構成です。ただし論文自体はコード生成タスクを対象にしておらず、QAタスクでの実測に基づく手法である点は踏まえておく必要があります。

分解手法は先行研究のアイデアをそのまま使っているのか

土台になっているのはGeva et al.(2021)やPatel et al.(2022)が提案した、質問をサブ質問に分解して答えさせるという既存のアプローチです。本論文の貢献は、この分解の枠組みをCoT忠実性の改善策として測定し直した点にあります。分解自体は新しいアイデアではなく、その効能を忠実性という切り口で定量化したところに新規性があります。

分解の粒度はどれくらいが適切か

論文はこの点を厳密には定めていません。今回の実験例では2つのサブ質問への分解で十分な効果が確認されていますが、質問の複雑さに応じてサブ質問の数を増減させる判断は、利用者側の裁量に委ねられています。

まとめ

質問を分解して別文脈で答えさせるfactored decompositionは、正答率を大きく犠牲にすることなく、モデルの説明が実際の判断根拠に忠実になる度合いを高める手法です。バイアス文脈での正答率変化を、CoT(ゼロショット)の-34.1からfactored decomposition(少数ショット)の-3.6まで改善したという結果は、単なる理論上の利点ではなく実測値として示されています。

Claudeを使う実務では、すべての質問にこの手順を使う必要はありません。判断根拠の検証可能性が重要な場面に絞って、サブ質問への分解と別文脈での回答という2ステップを試す価値があります。少しの手間で、後から「なぜその答えになったか」を検証できる記録が残る点が、この手法の実務上の意義です。