モデル評価の統計的手法とは — Claudeの精度差を誤差込みで読む方法
Anthropicの論文が示す、モデル評価スコアの差が統計的に有意かを判定する5つの推奨手法を、論文中の数値例で確かめます。
あるモデルがベンチマークで別のモデルより高いスコアを出したとき、それは実力差なのか、それともベンチマークの問題選びがたまたま有利だっただけなのか。Anthropicは2024年11月19日、この問いに統計学の実験計画理論から答える論文「Adding Error Bars to Evals」を公開しました。著者はAnthropicのEvan Miller氏で、arXivには2024年11月1日に投稿されています。
論文の出発点は、評価の世界が「最高値が勝ち」という見方で回りがちなことです。業界の慣行は最高水準(SOTA)の数字を太字で示すだけで、その差が統計的に意味を持つかまでは検定しません。論文はこの慣行に、標準誤差と信頼区間という道具を持ち込みます。
なぜ評価スコアの差に「誤差」が必要なのか
MMLUのような評価は、数百から数千の無関係な問題で構成されています。ウイルスを発見したのは誰か、ある関数の逆関数は何か、といった多様な設問です。通常、評価スコアはこれらの問題ごとのスコアを単純平均して算出されます。
論文が注目するのは、観測された平均ではなく「理論上の平均」です。評価問題は、無数にありうる問題の中から抽出された一部にすぎません。この「問題の母集団」全体の平均スコアを推定できれば、問題選びの運に左右されない、モデルの根底にある能力を測れます。同じ難易度分布の別の評価セットを作っても、元の結論が概ね成り立つと期待できるからです。
チャットボットの対戦評価(Chatbot Arena)は、Eloスコアに信頼区間を付けることで知られています。一方、設問と正解を並べる従来型の評価では、誤差の表示が長らく欠けていました。論文はMetaのLlama 3の技術報告を、数少ない例外として挙げています。
論文の仮想例: 勝ち負けの表は誤差を入れると何が変わるか
論文の冒頭には、架空の2モデル「Galleon」と「Dreadnought」を3つの評価(MATH・HumanEval・MGSM)で比べた表があります。MATHではGalleonが2.5ポイント上、HumanEvalとMGSMではDreadnoughtがそれぞれ3.1ポイント・2.7ポイント上です。2勝1敗でDreadnoughtが優勢に見えます。
論文はここに、後述する推奨4(ペア差分)と推奨2(MGSMのクラスター化)を当てはめます。
Galleon − Dreadnought のスコア差と95%信頼区間
MATH
+2.5%(0.7%)
区間は+1.2%〜+3.8%。0を含まず、有意
HumanEval
−3.1%(2.1%)
区間は−7.2%〜+1.0%。0を含み、有意でない
MGSM
−2.7%(1.7%)
区間は−6.1%〜+0.7%。0を含み、有意でない
結論は逆転します。有意と言えるのはMATHでのGalleonの優位だけで、残り2つはノイズと区別がつきません。表面的な読みではDreadnoughtが優れて見えても、慎重に分析すると逆の結論になる、というのが論文の総括です。数字の大きさではなく、区間が0をまたぐかどうかで読むわけです。
推奨1: 中心極限定理で標準誤差を出す
中心極限定理の緩やかな条件下では、同じ母集団から抽出した複数のサンプルの平均値は正規分布に従う傾向があります。この正規分布の標準偏差(広がり)が「平均の標準誤差」(SEM)です。計算は、問題ごとのスコアのばらつきを問題数で割って平方根を取るだけです。
0か1で採点する評価なら、平均スコアをp、問題数をnとして、標準誤差は「√(p(1−p)/n)」になります。95%信頼区間は、平均から「1.96×SEM」を足し引きして得られます。
論文は報告の書き方も具体的に示しています。平均の下に括弧書きで標準誤差を添え、問題数も併記する形です(例: 65.5%の下に(0.7%)、問題数5,000)。ブートストラップ法でも標準誤差は出せますが、論文は、複雑な標本の取り方や推定量を使わない限り不要という立場です。
この計算には落とし穴もあります。論文はLlama 3の報告が、F1スコアのような小数のスコアにも「0か1」用の式を使っている点を指摘します。その場合、区間は実際より広く(保守的に)出ます。Inspectフレームワークのstderr()は、この計算を正しく行うと論文は書いています。
推奨2: クラスター化された標準誤差を使う
多くの評価は「問題が独立に選ばれている」という前提を満たしません。読解問題のように、複数の設問が同じ文章に紐づく評価が典型で、DROP・QuAC・RACE・SQuADがこのパターンです。同じ文章に関する設問を何問含めても、別々の文章についての設問を同数含める場合ほどの情報量は得られません。
多言語評価のMGSMも同じ型です。同じ問題を多数の言語に翻訳した構成なので、翻訳された問題どうしが同じクラスターに入ります。論文の表では、MGSMの2,500問が250のクラスターに束ねられています。
問題が独立でないときは、無作為化の単位(文章や元の問題)で標準誤差をクラスター化します。素朴な標準誤差に、同じクラスター内の設問どうしの偏差の積を足し込む形の補正で、社会科学で広く使われてきた手法です。
クラスター化で標準誤差がどれだけ動くか
DROP: 3.05倍
素朴な標準誤差(0.44)に対して、補正後は1.34です。差の判定が大きく変わりえます。
MGSM: 1.88倍
多言語評価でも、翻訳の重なりで補正が約1.9倍に膨らみます。
RACE-H: 1.10倍
同じ読解系でも、補正がほぼ効かない評価があります。
これらはAnthropicのモデルで計算された実測値で、論文は「同じデータでもクラスター化した標準誤差は素朴な値の3倍を超えうる」と述べています。補正を怠ると、実際には存在しない能力差を検出したと誤認しかねません。論文はこの点から、Llama 3の読解系評価の信頼区間は狭すぎる可能性が高いと指摘しています。
報告の形式も提案されています。問題数に加えてクラスター数を併記し、その下に補正後の標準誤差を括弧書きで添えます。
推奨3: 設問内のばらつきを減らす
評価スコアの分散は、問題の選び方に由来するばらつきと、選ばれた問題の中のばらつきの和に分かれます(全分散の法則)。1つの設問のスコアは「平均スコア(同じ設問を無限回聞いた場合の平均)」と「ランダム成分(観測値と平均スコアの差)」に分解でき、問題数を増やす以外に、このランダム成分を減らす道があります。問題の母集団側のばらつきは評価の性質そのもので、動かせません。
論文が示す方法は2つで、思考の過程を出力させるプロンプト手法(CoT、chain-of-thought)を使うかどうかで使い分けます。(Claudeに分解プロンプトで質問すると信頼性が上がる理由は、CoTの信頼性そのものを高める別のアプローチです。)
CoTを使う評価では再サンプリングです。同じ設問に同じモデルから複数回答えさせ、設問ごとの平均を中心極限定理に投入します。Inspectのepochsパラメータがこの計算を正しく行います。全回答(問題数×K件)を1つの母集団として標準誤差を出す方法は、同じ設問への回答が独立でないため成り立ちません。
回数Kを増やす効果には頭打ちがあります。論文は、正解か不正解かの二値で、問題の難しさが一様に分布する単純なモデルで試算しています。
再サンプリング回数Kと分散の減り方
K=2
1/3減
1回きりの採点より分散が3分の1減る
K=4
1/2減
半分に減る
K=6
5/9減
約56%減
上限
2/3減
Kをいくら増やしても超えない
CoTを使わない評価では次トークンの確率を使います。選択肢「B」が正解なら、モデルが「B」を出力する確率そのものを設問スコアにします。ランダム成分がゼロになり、上の試算の上限である2/3減を一度に得られます。Anthropicは、この手法を実装したオープンソースの評価フレームワークは把握していないと書いています。
サンプリング温度は下げない
ばらつきを消したくて、サンプリング温度を下げたくなることがあります。論文は、温度を検証対象にする場合を除いて、これに反対しています。温度を下げると、設問内のばらつきが消える代わりに、設問ごとの平均の分布が「丸められる」からです。
論文の例では、正解確率が0〜1に一様に散らばる単一トークンの真偽問題で、温度1の分散は1/12です。温度0にすると各設問は0か1に固まり、分散は1/4と3倍になります。別の例では期待スコアそのものも2/3から3/4へずれます。分散を減らすなら、温度ではなく再サンプリングか次トークン確率を使います。
推奨4: ペア差分で分析する
評価スコア単体には意味がなく、あるモデルが別のモデルより優れている、同等である、人間より優れている、といった比較の中で初めて意味を持ちます。2モデルの標準誤差を二乗和の平方根で合成する2標本の検定でも差は検定できます。ただしこれは、両モデルに同じ設問リストを使っているという構造を捨てています。
設問ごとの点数差を取って、その平均と標準誤差を求めるのがペア差分です。数式の上では、ペア分析の分散は2標本の分散から「2×(2モデルの設問ごとの平均スコアの共分散)/n」を引いたものになります。2モデルが同じ設問で同じように正解・不正解になるほど共分散が大きく、標準誤差は縮みます。
Anthropicによれば、人気の評価でのフロンティアモデルどうしの設問スコアの相関は0.3〜0.7(−1〜+1のスケール)です。モデルは同じ設問を間違える傾向を共有するため、ペア差分は「無料の」分散削減になります。前掲の仮想例でも、MATHの相関は0.50、HumanEvalは0.64、MGSMは0.37でした。
報告では、平均差・標準誤差・95%信頼区間・相関係数を、ペアごとに補足表として添えることを論文は勧めています。設問のクラスターがあるときは、ペア差分にもクラスター補正を重ねます。
推奨5: 検出力分析で必要な設問数を見積もる
統計的有意性の裏側にあるのが検出力です。差が実際に存在するとき、それを検出できる検定の能力を指します。設問数が少ないと信頼区間が広がり、大きな差しか有意になりません。小さな差は見逃されやすくなります。
論文は「モデルAがモデルBを3ポイント上回る」という仮説を、「引き分け」という帰無仮説に対して検定するために必要な設問数の式を示します。入力は3つです。
- 有意水準α(差がないのに差ありと判定する誤りの確率)
- 検出力1−β(差があるときに検出できる確率)
- 検出したい最小の差δ(最小検出効果)
論文の試算では、αを5%、検出力を80%、検出したい差を3ポイントとし、ペア分析で設問内のばらつきがない単純な条件を置くと、必要な設問数は約969問です。論文は、条件は架空でも現実的な範囲にあるとして、新しい評価には少なくとも1,000問が必要という目安を述べています。
式は逆向きにも使えます。設問数が固定なら、検出できる最小の差が出ます。論文の例では、設問数198、設問内のばらつき1/6、2モデルの相関0.5の条件で、再サンプリング回数Kを1から10に増やすと、検出できる最小の差が13.2%から7.5%に縮みます。
検出力分析の数値例
必要な設問数
約969問
3ポイント差を検出する単純な条件
最小検出効果 K=1
13.2%
設問数198のとき
最小検出効果 K=10
7.5%
同じ設問数のまま回数だけ増やした場合
設問数が少ない評価は、そもそも小さな差を測れません。大量の設問から無作為に部分集合を抜く場面や、新しい評価を作って何問用意するかを決める場面でも、同じ式が使えます。
この論文はモデルの能力比較にどんな意味を持つか
AIモデルの発表では「ベンチマークでN%向上」という数字が独り歩きしがちです。論文が突きつけるのは、その数%の差が母集団レベルで意味のある差なのか、問題選びの偶然なのかは、標準誤差を計算しない限り分からないという事実です。クラスター化の影響がDROPで3倍を超えた実測は、読解系ベンチマークの微差比較への強い警告になります。
システムカードやモデル比較の記事で「わずかに上回った」という表現に出会ったら、その差に標準誤差が添えられているかが、読者側の確認点になります。Bloomの検証ではスピアマン相関係数(Opus 4.1で0.86)が示されますが、標準誤差や信頼区間は添えられていません。相関は一致度の指標で、差の誤差を示すものではないためです。
自社の評価パイプラインにどう組み込むか
Claudeベースのエージェントを自社で評価しているなら、論文の手順はそのまま流用できます。順序は、結論を出す前に確かめる項目の並びとして読めます。
独自ベンチマークでモデルAとBを比べる前の確認
- 1
設問が独立かを確かめる
同じ文書や同じコードベースから複数の設問を作っていれば、それらは1つのクラスターです。クラスター単位で標準誤差を計算します。
- 2
同じ設問リストを両モデルに使う
A/Bで別々の設問セットを使うより、同一の設問への点数差を取るほうが誤差を抑えられます。2モデルの設問ごとの相関が高いほど、標準誤差が縮みます。
- 3
非決定的な評価は複数回答えさせる
CoTや長い出力を伴う評価では、設問ごとにK回サンプリングして平均します。温度は変えません。
- 4
検出したい差から設問数を逆算する
見つけたい差が3ポイントなのか1ポイントなのかで必要な設問数は変わります。足りないなら、結論を保留する選択肢もあります。
まとめ — 差を「区間」で読む習慣
複数のAIモデルを自社ベンチマークで比較しているなら、数字の大小の前に、問題数・標準誤差・信頼区間が0をまたぐかを見ると、勝ち負けの判断が変わることがあります。Claudeのシステムカードの読み方でも、公表された評価数値を読むときに、標準誤差や区間の有無を確かめる視点が使えます。
Anthropicは記事の結びで、統計学を「ノイズの存在下での測定の科学」と呼んでいます。評価の課題は多岐にわたり、統計学はその一側面にすぎないが、経験科学は測定手段の質に依存するため、その一側面は決定的に重要だという立場です。実験計画の分野には本論文が扱わなかった手法も残っているとして、AI研究コミュニティに応用を呼びかけています。