モデル評価の統計的手法とは — Claudeの精度差を誤差込みで読む方法

あるモデルがベンチマークで別のモデルより高いスコアを出したとき、それは実力差なのか、それともベンチマークの問題選びがたまたま有利だっただけなのか。Anthropicは2024年11月19日、この問いに統計学の実験計画理論から答える論文「Adding Error Bars to Evals」を公開しました。著者はEvan Miller氏です。AIモデル評価(eval)への社会的関心の高さに反して、この問いはAI研究コミュニティの中でほとんど検討されてこなかったとAnthropicは指摘しています。

なぜ評価スコアの差に「誤差」が必要なのか

MMLUのような評価は、数百から数千の無関係な問題で構成されています。ウイルスを発見したのは誰か、ある関数の逆関数は何か、といった多様な設問です。通常、評価スコアはこれらの問題ごとのスコアを単純平均して算出されます。研究者はこの「観測された平均」に注目しがちですが、論文が主張するのは、本当に注目すべきは観測平均ではなく「理論上の平均」だという点です。

評価問題は、無数にありうる問題の中から抽出された一部にすぎません。この「問題の母集団」全体における平均スコアを推定できれば、特定の問題選びの運に左右されない、モデルの根底にある能力を測定できます。この考え方は分析上の頑健性をもたらします。同じ難易度分布を持つ別の評価セットを新しく作っても、元の結論が概ね成り立つと期待できるからです。

推奨1: 中心極限定理で標準誤差を出す

中心極限定理の緩やかな条件下では、同じ母集団から抽出した複数のサンプルの平均値は正規分布に従う傾向があります。この正規分布の標準偏差(広がり)は「平均の標準誤差」(SEM)と呼ばれます。論文は、評価スコアを報告する際にこのSEMを必ず併記するよう推奨しています。SEMが分かれば、95%信頼区間はスコアの平均値から「1.96×SEM」を足し引きするだけで計算でき、2つのモデルの理論上の平均の差を定量化できます。

推奨2: クラスター化された標準誤差を使う

多くの評価は「問題が独立に選ばれている」という前提を満たしません。読解問題のように、複数の設問が同じ文章に紐づいているケースが典型例で、DROP・QuAC・RACE・SQuADといった評価がこのパターンに該当します。このとき、同じ文章に関する設問を何問含めても、別々の文章についての設問を同数含める場合ほどの情報量は得られません。中心極限定理を単純に当てはめると標準誤差を過小評価し、誤った結論に導かれるリスクがあります。

この問題は社会科学分野で広く研究されており、論文は「問題が独立でないなら、無作為化の単位(例えば文章単位)で標準誤差をクラスター化する」ことを推奨しています。実際に人気の評価でクラスター化された標準誤差を計算すると、素朴な標準誤差の3倍を超えるケースがあり、これを無視すると実際には存在しない能力差を検出したと誤認しかねません。

推奨3: 設問内のばらつきを減らす

評価スコアの分散(ばらつき)は、平均の標準誤差を2乗した値に相当し、個々の設問のスコアに含まれるばらつきの大きさに左右されます。論文は、1つの設問のスコアを「平均スコア(同じ設問を無限回聞いた場合に得られる平均)」と「ランダム成分(実際に観測されたスコアと平均スコアの差)」の2項に分解します。全分散の法則により、このランダム成分のばらつきを減らせば、全体の平均の標準誤差は直接小さくなり、統計的な精度が上がります。

論文では、思考の過程を出力させてから答えさせるプロンプト手法(CoT、chain-of-thought)を使うかどうかで、分散を減らす戦略を2通り提示しています(Claudeに分解プロンプトで質問すると信頼性が上がる理由は、CoTの信頼性そのものを高める別のアプローチです)。CoTを使う評価では、同じ設問に対して同じモデルから複数回サンプリングし、設問ごとの平均を中心極限定理に投入することを推奨しています(Inspectフレームワークのepochsパラメータはこの計算を正しく行います)。CoTを使わない評価(答えが経路に依存しない場合)では、次トークンの確率をそのままスコアとして使うことで、ランダム成分をほぼゼロにできます。例えば選択肢「B」が正解なら、モデルが「B」というトークンを出力する確率そのものを設問スコアとして使う方法です。論文はこの手法を実装したオープンソースの評価フレームワークは見当たらないとしています。

推奨4: ペア差分で分析する

評価スコア単体には意味がありません。あるモデルが別のモデルより優れている、同等である、あるいは人間より優れているといった「比較」の中で初めて意味を持ちます。2つのモデルの平均の標準誤差だけを使う2標本t検定でも差を検定できますが、これは評価データに隠れた構造を無視しています。同じ設問リストが両モデルに共通して使われているなら、ペア差分検定によって設問の難易度によるばらつきを打ち消し、応答そのもののばらつきに焦点を絞れます。

論文は、人気の評価においてフロンティアモデル同士の設問スコアの相関係数が0.3〜0.7(−1〜+1のスケール)の範囲にあることを示しています。つまりフロンティアモデルは、同じ設問で正解・不正解の傾向が一致しやすいということです。ペア差分分析はAIモデル評価にとって「無料の」分散削減手法であり、モデルを2つ以上比較する際は平均差・標準誤差・信頼区間・相関係数をペアごとに報告することが推奨されています。

推奨5: 検出力分析で必要な設問数を見積もる

統計的有意性の裏側にあるのが検出力です。差が実際に存在するとき、それを検出できる検定の能力を指します。評価の設問数が少ないと信頼区間が広くなり、統計的に有意な結果を出すには実力差そのものが大きくなければ検出できません。小さな差は見逃されやすくなります。検出力分析は、観測数・検出力・偽陽性率・検出したい効果量の間の数学的な関係を扱います。

論文は「モデルAがモデルBを3ポイント上回る」といった仮説を立て、それを「引き分け」という帰無仮説に対して検定するために必要な設問数を計算する方法を示しています。この検出力の考え方は、同じ設問への再サンプリング回数(推奨3)や、望む検出力を保ったまま無作為抽出できるサブサンプルの設問数を決める際にも応用できます。評価を新しく作る開発者にとっては、何問用意すべきかを決める根拠にもなります。

この論文はモデルの能力比較にどんな意味を持つか

AIモデルの発表では「ベンチマークでN%向上」という数字が独り歩きしがちです。しかしこの論文が突きつけるのは、その数%の差が母集団レベルで意味のある差なのか、それとも問題選びの偶然の産物なのかは、標準誤差を計算しない限り分からないという事実です。特にクラスター化された標準誤差が素朴な計算の3倍に達しうるという指摘は、読解系ベンチマークの微差比較に対して強い警告になります。

一方でこの手法が要求する統計的な作法は、モデル開発の実務においてまだ徹底されているとは言えません。システムカードやモデル比較の記事で「わずかに上回った」という表現を見たときは、その差にSEMが添えられているかどうかを確認する視点が、読者側にも必要になります。Bloomの検証結果でもスピアマン相関係数や標準偏差が明記されており、評価数値に散らばりの指標を添える書き方は実際に読み取れます。

自社の評価パイプラインにどう組み込むか

Claudeベースのエージェントを自社で評価しているエンジニアにとって、この論文が扱う考え方はそのまま応用できます。まず、独自ベンチマークで「モデルAの方がモデルBより優れている」と結論づける前に、設問が互いに独立かどうかを確認します。同じドキュメントや同じコードベースから複数の設問を作っている場合、それらは推奨2が指摘する非独立な設問群にあたり、素朴な標準誤差では差を過大評価する危険があります。

次に、複数のモデル・複数のプロンプトバージョンを比較する場面では、同じ設問セットに対するペア差分分析(推奨4)を優先します。A/Bで別々の設問セットを使うより、同一の設問リストに対する差分を見る方が、少ない設問数でも統計的な精度を確保しやすくなります。評価の設問数が少ない小規模な社内ベンチマークほど、この工夫の効果は大きくなります。

まとめ — この論文を読むべき読者

複数のAIモデルを自社ベンチマークで比較検証しているエンジニア・リサーチャーにとって、この論文の5つの推奨事項はそのまま実装可能なチェックリストになります。特にクラスター化された標準誤差とペア差分分析は、既存の評価パイプラインに追加コストなく組み込める手法です。Claudeのシステムカードの読み方を理解するうえでも、評価数値の背後にある統計的な前提を押さえておくと、公表された数字をより正確に解釈できます。

論文の原題は「Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations」で、著者のEvan Miller氏はarXivに14ページの論文として2024年11月1日に投稿しています。統計学(stat.AP)と計算言語学(cs.CL)の両分野にまたがる論文として分類されており、AI研究者だけでなく統計・実験計画の知見を持つ読者にも参照されやすい構成になっています。

Anthropicは記事の結びで、統計学を「ノイズの存在下での測定の科学」と位置づけています。評価という営みが抱える課題は多岐にわたり、統計学はその一側面にすぎませんが、経験科学が測定手段の質に依存する以上、その一側面は決定的に重要だという立場です。実験計画の分野には本論文が扱わなかった手法も他に残っており、AI研究コミュニティに対してさらなる応用を検討するよう呼びかけて記事を締めくくっています。