Claudeに分解プロンプトで質問すると信頼性が上がる理由

分解プロンプトは、質問を部分問題に割って別の文脈で答えさせる手法

Claudeに難しい質問を投げるとき、多くの人はChain-of-Thought(CoT、段階的な思考の連鎖)で「順を追って考えて」と指示します。Anthropicの研究チームが2023年7月に公開した論文は、CoTとは別の組み立てを比べました。質問をサブ質問に分け、それぞれを独立した文脈で答えさせる方法です。

結果は、モデルが書く説明が実際の判断根拠に近づく一方で、正答率は少し下がる、というものでした。

Claudeに「立ち止まって考える場」を与えるthink toolが思考の質を上げる設計だとすれば、分解プロンプトは思考の検証しやすさを上げる設計です。論文はこの手法を「factored decomposition(分解統合)」と呼んでいます。

実験に使われたのは、RLHF(人間のフィードバックによる強化学習)で調整された言語モデルです。ベースはClaude 1.3と同じモデルで、評価は4つの質問応答タスクの平均で示されています。以下の数値はすべて、この論文の条件での結果です。

CoTの説明は、なぜ検証の根拠にならないのか

論文の出発点は「出力そのものより、出力に至る過程のほうが検証しやすいはずだ」という発想です。答えだけを見て正誤を判断するより、途中の理由付けを読めれば、たまたま正解しただけなのか、正しい根拠で正解したのかを見分けられます。

この発想が成り立つのは、書かれた理由付けが実際の判断過程を偽りなく映している場合に限られます。論文は、これが崩れる2つの型を先行研究から引いています。

• バイアス推論(Turpin et al., 2023): 質問文に紛れた手がかりで答えが動くのに、CoTはその手がかりに触れない
• 無視された推論(Lanham et al., 2023): CoTを途中で打ち切ったり、間違いを混ぜたりしても答えが変わらない。そのCoTは、答えの決定に使われていなかったことになる

論文の仮説は次のとおりです。サブ質問を元の質問文から切り離した文脈で答えさせれば、質問文に埋め込まれた偏りの手がかりがサブ回答に入りにくくなります。前のサブ回答が次のサブ質問や最終回答とはっきり結びつくので、推論も無視されにくくなります。

3つの手法は「どこで考えるか」が違う

論文が比べるのは、CoT、CoT分解、factored decompositionの3つです。分解を使う2つの違いは、サブ質問に答える文脈が1つか、サブ質問ごとに別かという点にあります。

論文の図に出てくる例が、違いをよく表しています。質問は「スクービー・ドゥーはカンガルーの袋に入るか」です。CoTは1回の生成で「スクービーはグレート・デーンに近い大型犬で、体重は150ポンド前後。カンガルーの袋は小さな枕カバーほど」と書き下し、答えは「入らない」です。

factored decompositionでは、モデルが「スクービー・ドゥーはどんな動物か」「平均的なグレート・デーンの大きさは」「平均的なカンガルーの袋の大きさは」といったサブ質問を作ります。各サブ質問は別々の文脈で答えられ、最後に「以上をふまえて最も妥当な選択肢は」と統合の質問を投げます。

factored decompositionは3段階で動く

論文の実装では、サブ質問も人が書くのではなく、モデルがプロンプトの指示に従って作ります。流れは次のとおりです。

実験のプロンプトには、手作りの例から始めて14問まで増やした少数ショットの例が入っています。生成にはbest-of-N(複数の候補から選ぶ方式)でN=5の抽出も使われました。

正答率は4.2ポイント下がり、忠実性の指標は上がる

論文の表1は、4つのタスク(HotpotQA、OpenBookQA、StrategyQA、TruthfulQA)の平均です。ゼロショットと少数ショットは、理由付けを書かせずにそのまま答えさせる比較用の設定です。

打ち切り感度は、理由付けを途中までしか見せないとき、元と同じ最終回答にどれだけ早く届くかを、曲線の面積で表した値です。理由付けを多く読まないと同じ答えに届かないほど、その理由付けに頼っていることになります。

破壊感度は、理由付けの1ステップに間違いを混ぜたとき、最終回答が元と違う答えになった割合です。CoTでは9.6%にとどまり、factored decompositionでは33.6%でした。CoTの理由付けは、間違いを混ぜても結論が動きにくい、答えに使われていない部分を多く含んでいたことになります。

正答率だけを見ると、CoTが86.0で最も高く、factored decompositionは81.8です。4.2ポイントの差があります。それでも、ゼロショット(72.8)と少数ショット(79.7)よりは上です。

タスクごとに見ると、差の出方は一様ではありません。理由付けや分解が最も効いたのはHotpotQAとStrategyQAで、論文はこの2つを、段階的な推論や質問の分解に向いたタスクだと述べています。

TruthfulQAでは、factored decompositionと少数ショットの差が0.6ポイントしかありません。分解が精度を押し上げる余地は、タスクの性質に左右されます。StrategyQAだけは、CoT分解(88.0)がCoT(87.0)を1.0ポイント上回りました。

偏りの手がかりが入ったときの影響は、手がかりの種類で結果が分かれました。

もう1つの手がかりは、少数ショットの例示の正解をすべて選択肢「A」に揃える方法です。こちらは手法による差がはっきり出ませんでした。CoTは1.2ポイント、CoT分解は2.8ポイント下がり、factored decompositionは2.1ポイント上がっています。論文はこの上昇をノイズだろうと推測しています。

表1の「偏りのある文脈での正答率変化」は、この2種類の平均です(CoT -11.3、CoT分解 -16.0、factored decomposition -3.6)。

結果を読むときの注意点

数字は、論文の実験条件のなかで読む必要があります。

• 精度の書き方が節ごとに揺れる: 結論の節は「同程度の精度を保ったまま」と書き、議論の節は、factored decompositionが3手法のうち質問応答の成績が最も低いと書いています。81.8という数字は、どちらの書き方にも合います
• CoT分解はCoTより悪化した指標がある: 誤った示唆を入れた実験では、CoT分解(-29.1)のほうがCoT(-21.3)より大きく崩れました。論文は全指標を0〜1に直して平均し、CoT分解を「CoTより忠実」と判断しています
• タスクとモデルが限られている: 評価は4つの質問応答タスクと、RLHF調整された1つのモデルだけです。コード生成のような別のタスクで同じ傾向になるかは、論文の範囲の外です
• 先行研究と数値が合わない箇所がある: 正解を「A」に揃える実験で、Turpin et al.はCoTで4.7ポイントの低下を報告していました。論文は差の理由として、例示を会話のどちら側に置くかという書式、評価タスク、使ったモデル(先行研究はClaude 1.0)の違いを挙げています。HotpotQAとStrategyQAは選択肢が2つしかなく、正解がAの問題を除くと問題数が半分になることも、結果を別の研究と並べにくくしています
• 忠実性を測る方法そのものが間接的: モデルの内部の推論の実態には触れられないので、複数の独立した指標を重ねて主張しています

論文は、モデルの出力を読んだ定性的な所見として、factored decompositionの失敗例も挙げています。サブ質問が単独では答えられない書き方になる、答えられなかったサブ質問をそのまま再生成してしまう、サブ回答が複数の選択肢を支えてしまう、といったものです。サブ質問は、元の質問の事情を知らない読み手に向けた文として書けているかが肝になります。

Claudeで試すときは、手作業でこの3段階を再現する

論文はプロンプトの組み立て方の研究で、追加の訓練を必要としません。ただし論文の実装は、14問の例示を含むプロンプトとモデルの繰り返し呼び出しで自動化したものです。

Claudeの画面やAPIで同じことをするなら、手作業で組み立てる形になります。以下の例文は、論文のプロンプトそのものではなく、この3段階を日本語に置き換えた一例です。

【1回目】元の質問を、独立して答えられるサブ質問に分けてください。
答えは書かず、サブ質問のリストだけを書いてください。
質問: 問い合わせ対応をAIに任せる案は、費用面で見合うか
 
【2回目以降、サブ質問ごとに新しい会話で】
(元の質問は貼らずに)現在の問い合わせ対応にかかる月間の人件費の目安は
 
【最後】以下はサブ質問と、その回答です。これだけを根拠に、
元の質問「…」へ最も妥当な結論を、根拠にしたサブ回答を挙げて答えてください。

効き目を左右するのは、2回目のサブ質問に元の質問文の事情を持ち込まないことです。論文の仮説は、サブ質問自体に偏りの手がかりが入っていなければ、サブ回答にも偏りが入りにくい、というものです。「社内ではAに決まりかけている」のような一文がサブ質問に残っていると、別の文脈で答えさせる意味が薄れます。

この手順は呼び出しの回数が増えます。後から「なぜこの結論になったか」を人に説明する必要がある場面に向き、答えが分かればよい場面にはCoTのほうが向きます。

2023年の研究と、その後の拡張思考の研究

この論文は2023年7月公開で、CoTの忠実性に疑問を投げた初期の研究の一つです。論文の結論は、忠実な推論が得られれば、報酬ハッキングや迎合の兆候が推論に出た出力を捨てられるようになる、という将来像で終わっています。

その後、拡張思考を持つ推論モデルでも不忠実さが残る例が拡張思考の忠実性を検証した研究で報告されました。Claude 3.7 SonnetとDeepSeek R1では、ヒントを使って答えを変えたとき、思考ログがヒントに触れた割合は全ヒントの平均で25%と39%です。分解は、この問題を一部の条件で減らす設計案として読めます。

まとめ

factored decompositionは、正答率を4.2ポイント手放す代わりに、回答の破壊感度を9.6%から33.6%へ、誤った示唆による落ち込みを-21.3から-9.2へ改善しました。説明が答えの根拠として使われているかを確かめたい場面では、分解して別文脈で答えさせる手間に見合う可能性があります。答えの正しさだけが欲しい場面では、CoTのほうが成績の高い手法です。