Claudeで論文の統計値を生データと照合して検証する
論文の統計的主張を1件ずつ抽出し、提供された生データで再計算して照合する手順と、実例で見つかった不一致5パターンをまとめます。
論文の統計値を生データで検証したいとき、Claudeが担える範囲
論文の統計値が生データから本当に導けるかを、Claudeに再計算させて確かめられます。論文中のp値・平均・標準誤差・サンプルサイズ・検定結果を1件ずつ抽出し、提供した生データで同じ分析を走らせ、一致するかを突き合わせる流れです。複数の論文を横断して読む段階の手順はClaudeリサーチの使い方にあります。
返ってくるのは、論文の主張・Claudeが計算した値・一致の有無という3点の照合結果と、疑わしい箇所です。その疑わしさが誤りなのか、分野の慣行の範囲内なのかは、読み手が専門知識で決めます。再計算と突き合わせの代行であって、統計の妥当性そのものの保証ではありません。Claude Scienceの監査可能な成果物機能が再現性として何を担保するかはClaude Scienceは再現性をどう担保するかで扱っています。
向いているのは、文献レビューの中心に据えて何度も引用する論文や、結果が意外で詳しく見たい論文です。参考文献すべてに同じ手間をかける必要はありません。自分の投稿原稿の数値を査読対応で直した場合の照合はClaudeで査読コメントへの回答書を下書きするで扱っています。自分の測定データにモデル式を当てる場合は、Claudeで曲線フィッティングと残差確認を行う手順が参考になります。
渡すものと、使う前に確認する設定
必要なのは、統計的主張を含む論文のPDFと、根拠になる生データのファイルです。入力欄の「+」ボタンから選ぶか、ドラッグ&ドロップで両方を渡します。補足資料が複数ファイルに分かれていても、まとめて渡せます。
Excelワークブックまで作らせるには、コード実行とファイル作成が有効である必要があります。Free・Pro・Maxでは既定で有効で、設定 > 機能の「コード実行とファイル作成」で切り替えます。TeamとEnterpriseでは、組織オーナーが組織設定の機能(Capabilities)で管理します。ネットワークの既定がプランで違い、統計ライブラリを追加で入れたい検証に響きます。
| プラン | コード実行とファイル作成 | ネットワークの既定 |
|---|---|---|
| Free・Pro・Max | コード実行とファイル作成既定で有効 | ネットワークの既定有効(承認されたソースからパッケージを導入) |
| Team | コード実行とファイル作成既定で有効 | ネットワークの既定節により「パッケージマネージャーのみ許可」または「無効」 |
| Enterprise | コード実行とファイル作成新規の組織では既定で有効 | ネットワークの既定無効(オーナーが有効化) |
Teamの既定は、同じサポート記事の中で節ごとに食い違っています。「利用可能性」の節には、ネットワークアクセスは既定で無効で、所有者が組織設定で有効にできるとあります。「はじめ方」と「ネットワークアクセスの設定」の節では、「ネットワークエグレスを許可」がオンで、アクセス先はパッケージマネージャーのみが既定です。「ネットワークアクセスの設定」の節はTeamとEnterpriseをまとめた見出しの下にあり、Enterpriseにも同じ食い違いがかかります。自組織の設定画面で実際の状態を見ておくと確実です。
TeamとEnterpriseのオーナーは、ネットワークを4段階から選べます。完全に切る、パッケージマネージャー(npm・PyPI・GitHubなど)だけ許可する、特定のドメインを加える、ブロックリスト以外の全ドメインを許可する、の順に自由度が上がります。最後の選択は、公式がもっともリスクが高いと位置づけています。
ネットワークが無効の組織では、プリインストール済みのパッケージだけで計算します。有効にすると、プロンプトインジェクションなどでデータが外部へ送られるリスクが理屈の上では生じます。出所の分からない論文やデータを使うときは、この点が判断材料になります。MCP連携を有効にしている場合は、ネットワーク設定にかかわらず通信の経路が残ります。
ファイルの上限は、アップロードもダウンロードも1ファイル30MBです。30MBを超えるPDFは、コンテキストウィンドウに読み込まずに計算環境で処理できます。補足資料がCSVやTSVでも、アップロードして分析させられます。チャット・Projects・Code・APIごとの上限はClaudeファイル上限の一覧にあります。Excelの基本操作はClaude Excel読み込みと作成が土台になります。
依頼から監査ワークブックの確認までの流れ
検証の進め方
- 1
論文と生データを渡す
PDFとデータファイルを一緒にアップロードします。論文を選んだ理由(「大量に引用する予定」「結果が意外」)も添えます。
- 2
抽出と再計算を依頼する
拾ってほしい値の種類を列挙して、再計算まで頼みます。依頼文の例は下のとおりです。
- 3
Excelワークブックにまとめさせる
分析ごとに別シートを立て、計算を1段階ずつ示し、問題点のサマリーシートを付けさせます。見出し行の固定やフィルターも指定できます。
- 4
ファイルをダウンロードして開く
チャット内のプレビューは構造しか見せません。数式、条件付き書式、プルダウンのフィルターは、実際のファイルで確かめます。
Can you help me verify their statistical claims? Go through the paper
systematically and pull out every p-value, mean, standard error, sample
size, and test result they report. Then run each analysis yourself
using their actual data.
For each statistical claim, show me three things: what the paper states,
what you calculated from their data, and whether these match. Flag any
problems you notice - things like using wrong tests for the data type,
sample sizes that don't add up, or p-values that seem mathematically
questionable.「すべての統計的主張を抽出して」とだけ頼むより、p値・平均・標準誤差・サンプルサイズ・検定結果と種類を並べておくと、拾ってほしい値の範囲が依頼文に残ります。
依頼文の冒頭には、その論文を調べる理由を1文添えます。公式の例は「文献レビューの中心にあり、大量に引用する前に深く理解したい」という文脈を書いています。理由が「結果が意外で理解したい」なら、意外に感じた箇所もあわせて書いておくと、どこを重く見たいかが依頼に残ります。依頼文の後半で、Excelのシート構成と体裁(プロフェッショナルな書式、固定した見出し行、フィルター、結果を説明するメモ)まで指定している点も、そのまま流用できます。
31件の検証で見つかった5つの不一致
公式の実例は、マウスの睡眠遮断実験の論文で、31件の統計的主張を検証しています。22件は一致、3件が軽微な食い違い、6件が要注意でした。実例で挙がった主な問題は、次の5型です。
| 型 | 論文の記述とデータ | なぜ問題か |
|---|---|---|
| サンプルサイズの不一致 | 論文の記述とデータ論文はn=12/群、データのコントロール群はn=11 | なぜ問題か検出力と比較の妥当性に関わり、除外理由の説明が要る |
| 単位変換ミス | 論文の記述とデータ論文は2456cm、データは24.43m | なぜ問題か100倍の桁ずれは、データチェックの甘さを示唆する |
| 不適切な検定手法 | 論文の記述とデータ同一個体の前後測定に対応なしのt検定(p=0.003) | なぜ問題か対応ありのt検定ではp<0.001で、効果は報告より強い |
| p値の精度誤差 | 論文の記述とデータ目標象限の滞在時間はp=0.004、再計算は0.0001 | なぜ問題かメタ分析など正確なp値を使う用途に響く |
| Methods記述との矛盾 | 論文の記述とデータ手法欄は「対応なしt検定」、実際は対応のあるデータ | なぜ問題か書き方の不備か、手法の理解不足か |
サンプルサイズの不一致は、特定の1か所でなく論文全体に及ぶものとして挙げられています。コントロール群の比較はすべて、n=12を前提にした記述とn=11のデータの間でずれるからです。公式の例は、除外した個体がいたなら論文が理由を説明すべきだったと指摘しています。
検定の誤りは、手法欄の記述とも食い違います。手法欄は「対応なしのt検定」と書く一方で、コルチコステロンのデータは同じマウスのベースラインと最終値の組です。公式の例は、書き方が不明確なのか、自分の分析への理解が足りないのかのどちらかだと読んでいます。
p値の食い違いは、もう1件あります。5日目の潜時は、報告p=0.02に対して再計算はp=0.026でした。0.004が0.0001になる桁の違いと、0.02が0.026になる小さなずれが混在しています。後者は、有意水準を0.05に置く限り、有意かどうかの結論までは変えません。
内訳も数字で見ておくと、全体の姿をつかめます。一致した22件は31件の約71%で、残る9件(約29%)が軽微な食い違いまたは要注意でした。要注意の6件だけなら約19%です。論文の大半は再現できても、残りの一部が結論の解釈に響くという配分になっています。
データの扱いの誤りと、検定選択の誤り
データの扱い
サンプルサイズや単位の問題です。計算そのものは正しくても、記述とデータの食い違いで結果がずれます。原稿を読むだけでは見えず、生データに当たって初めて見つかります。
検定の選択
同一個体の前後測定に、対応なしの検定を使った例です。手法の選び間違いは、結果を都合よく見せる方向に働くとは限らず、この例では効果を弱く見せていました。
単位変換の数字は、ページ掲載の値を自分で換算すると別の発見があります。コントロール群の移動距離は、論文が2456cm、データが24.43mです。2456cmは24.56mなので、桁を合わせても24.43mとは一致しません。±の後ろの値も、234cm(2.34m)に対してデータは1.8mで食い違います。睡眠遮断群も、1834cmは18.34mで、データの18.38mと一致しません。単位の取り違えは、食い違いの一部しか説明していません。Claudeが挙げた「100倍のずれ」は入口で、桁をそろえたあとの再照合まで依頼すると、残りのずれが見えます。
結果を次の作業につなげる3つの使い方
最初の検証が終わったあとに、同じ会話の中で続けられる使い方が3つあります。公式の使用例ページは、所要時間を15分、分類を研究(Research)の用途として載せています。
検証の次に頼めること
図の数値を突き合わせる
棒グラフの高さ、エラーバー、データ点が生データと合うかを、図ごとに確認させます。本文の数値を検証しても、図だけに残った誤りは拾えないため、表と図は別の工程です。
査読コメントに書き直す
見つかった問題を、指摘は明確に、言い回しは建設的に整えたコメントへ変えさせます。自分が著者側なら、投稿前の原稿に同じ検証をかけて、単位や検定の取り違えを先に見つける使い方もあります。
生データのない論文の見方を学ぶ
方法論の矛盾、不自然に丸い数値、研究デザインに合わない検定の選択といった、生データなしでも気づける兆候を教えてもらいます。手元に生データがある論文で一度練習してから応用する順です。
自分の状況で何を確かめるか
検証を始める前に、状況ごとに見るところが変わります。
- Free・Pro・Maxで使う場合は、設定 > 機能でコード実行とファイル作成のトグルがオンかを見ます。スマートフォンのアプリでも、名前を開いた設定の機能から同じトグルを切り替えられます。
- TeamやEnterpriseで使う場合は、組織設定の機能で、コード実行のトグルとネットワークの許可範囲を確認します。ライブラリの導入が要る分析は、Enterpriseの既定のネットワーク無効では動きません。
- 作ったワークブックを人に渡す場合は、.xlsxのダウンロードのほか、Google Driveへの保存もできます。
- 出所の分からないファイルを使う場合は、ネットワークを切った環境で計算させると、サンドボックスから情報が外へ出る経路を断てます。MCP連携の経路は別に残るので、あわせて見直します。
- 生データが手元にない論文を読む場合は、前節の3つ目の使い方に進みます。
よくあるつまずき
つまずきは、結果の受け止め方に集中します。公式の使用例ページは、検証を始める論文として自分の専門分野のものを勧めています。Claudeが指摘した問題が本当の誤りかどうかを、専門知識で判断できるからです。
- 自分の専門分野の論文から始めないと、指摘が本当の誤りか分野特有の慣行かを判断しにくくなります。
- 「問題なし」と返ってきたときも、想定した前提を検証できていたかを自分の知識で確かめます。
- プレビューだけで判断すると、条件付き書式で色付けされた要注意項目を見落とします。実際のExcelファイルをダウンロードして開きます。
シートをまたぐ参照が多い複雑なワークブックでは、モデルの選び方も論点になります。引き継いだスプレッドシートを扱う公式の実例では、Sonnetは単純なスプレッドシートを問題なくこなすとされています。1つの前提を変えると4つのシートに波及するモデルでは、Opus 4.5のほうが数式の誤りが減るという書き方です。統計検証のワークブックに同じ差が出るとは、この実例からは言えません。シート数が少なく計算が単純ならSonnetで足ります。参照が複雑なときに、モデルを替えて比べる選択肢があります。拡張思考(Extended Thinking)は、同じ実例で、複数手順のタスクで高度なレイアウトとロジックを組ませたいときに有効にする任意の設定として出てきます。数式入りの拡張版を作れるようにする設定は、ファイル作成です。
まとめ
Claudeに任せられるのは、主張の抽出、再計算、突き合わせまでです。指摘が誤りか慣行かの判断と、著者への伝え方は、自分の専門知識を通します。確かめる順としては、サンプルサイズや単位のずれを先に見て、検定の選択を後に回すと、転記・集計の問題と統計知識の問題を切り分けやすくなります。Claudeの要約をそのまま受け取らず、ワークブックの数値まで確かめると、判断の根拠が固まります。