Claude Scienceは再現性をどう担保するか — 監査可能な成果物の仕組み

AnthropicはClaude Scienceの発表の中で、Claude Scienceが「auditable artifacts(監査可能な成果物)」を生み出すと説明しています。ただしこれは製品ドキュメント上の1つの機能名ではありません。実体はArtifact(成果物)の版管理、Provenance(来歴)パネル、そしてレビューアーという3つの仕組みの組み合わせです。中身を分解すると、何が再現でき、何が保証されないかがはっきりします。

監査可能な成果物(Auditable Artifacts)とは何か

Claude Scienceにおけるアーティファクトは、図・処理済みデータセット・レポート・ノートブックなど、Claudeがプロジェクトに保存するあらゆる出力ファイルを指します。セッション中に一時的に書き出されるファイルはセッション終了の数時間後に消えますが、アーティファクトとして保存されたものはユーザーが削除するまで残ります。

この仕組みを再現性の装置にしているのが、次の3層です。

• 版管理(Versions): 同じファイル名で保存し直すたびに新しいバージョンが積み上がる
• Provenance(来歴): 各バージョンがどう作られたかを記録するパネル
• レビューアー: 保存された内容と実行記録が食い違っていないかを独立してチェックするエージェント

3つはそれぞれ別のドキュメントページで説明されており、単一の「Auditable Artifacts」という設定項目は存在しません。

アーティファクトの版管理と来歴(Provenance)パネルの5タブ

テキスト系のアーティファクト(Markdown・コード・プレーンテキスト)は直接編集して保存でき、その都度新しいバージョンが作られます。画像・PDF・HTML・表形式のファイルはその場での編集ができません。バージョンは基本的に読み取り専用で、古いバージョンに戻したいときはClaudeにもう一度保存させる形を取ります。会話中でClaudeが提示するリンクは、その時点で存在した特定バージョンを指し続けます。

各バージョンにはProvenanceパネルが付属し、次の5タブで来歴を確認できます。

ドキュメントは「CodeタブとExecution Logが食い違う場合はExecution Logを信用する」と明記しています。表示用のコードより、実際に実行された記録のほうが正になるという設計です。セッションを削除してもアーティファクトとその来歴は残りますが、プロジェクトごと削除するとセッション・アーティファクト・プロジェクト単位のメモリーがまとめて消えます。

この環境はconda(パッケージ管理システム)ベースで名前を付けて管理され、同じ環境を後続のセッションでも使い回せます。コードだけを保存しても、実行時に使ったライブラリのバージョンが違えば同じ結果にならない場面は珍しくありません。Environmentタブがコードと対になって記録されることで、この種の「コードは同じなのに結果が再現しない」という典型的な落とし穴を避けられます。

レビューアーは何を検出し、何を検出しないか

レビューアーは、Claudeの直近の応答・承認済みの計画・保存済みアーティファクト・実行記録を独立に読み直し、主張が実際の記録と一致しているかを確認するエージェントです。応答のたびに自動で走るほか、長時間の作業中は定期的に、あるいはRequest reviewでいつでも手動実行できます。

公式ドキュメントが挙げる検出例は次の通りです。

• 何も実行していないのに「計算済み」と報告された結果
• 元のファイルの値と矛盾する応答中の数値
• 引用元が主張を裏付けていない参照
• DOIが別の論文を指している参照
• 承認済みの計画のうち、未完了のまま残っているステップ
• 使われた手法からは導けない結論

指摘された内容は該当メッセージの直下にカードで表示されます。Claudeはその指摘を次の応答で読み、記録を修正するか、指摘が当てはまらない理由を説明するかのどちらかで応答する仕組みです。

レビューアーの自動実行(auto-review)はプランによって既定値が違います。

Settings > Specialistsからレビューアーに独自のチェック項目を追加することもできますが、これは既存の組み込みチェックに追加されるだけで、既存のチェックを弱めたり外したりはできません。標準のレビューアーとは別に、自分の研究の進め方に合わせた専用のスペシャリストを新しく作り、追加のレビューや判断を任せることも可能です。auto-reviewはセッションごとのトグルで切り替えられますが、レビューを実行するたびに、その分の処理は自分のプランの利用枠を消費する点は覚えておく必要があります。

成果物はどこに保存され、どう持ち出すか

アーティファクトはアプリのデータフォルダーに保存され、ユーザーが削除するまで残ります。セッション中にClaudeが書き出す一時ファイルはこれとは別扱いで、セッション終了から数時間で自動的に消えるため、残しておきたいスクラッチファイルは明示的に保存を指示する必要があります。外部に持ち出すには、アーティファクトのメニューからDownloadで単体ファイルとして書き出すか、プロジェクトのフォルダーを直接開いてコピーします。

再現性を考えるうえで見落としやすいのが、この設計が計算機単位だという点です。Claude Scienceは、インストールした計算機の上に作業を留める設計になっており、プロジェクトは別の計算機には自動で同期されません。数か月後に同じ図を検証したいとき、実行に使ったのと同じ計算機か、そのデータフォルダーのコピーが必要になる場面が出てきます。

図やレポートに対しては、コメント機能で該当箇所にメモを直接ピン留めできます。ピン留めされたコメントは、次のやり取りでClaudeが指示として読み取る仕組みで、図の修正依頼を会話の文中に埋もれさせずに残せる点が、来歴の記録とも相性がよい部分です。

実際にどんな効果が報告されているか

仕組みの説明だけでは、レビューアーがどこまで実務に効くのかが見えにくいので、利用者側の証言も見ておきます。

あくまで一つの現場の感想ですが、事実確認の仕組みが実務上の信頼感につながった例として紹介します。レビューアーが実際にチェックしているのは、主張が記録と一致しているかどうかであって、分析を裏で再実行しているわけではありません(公式ドキュメントは「checks whether claims match the record; it doesn't re-run analyses」と説明しています)。医療判断や研究上の結論そのものの正しさを保証する仕組みではなく、トリアージや医療レビューのような場面でも最終判断は引き続き人が担う前提です。

研究不正対策として何を保証し、何を保証しないか

レビューアーは、Claudeの主張と実行記録の一致・不一致を機械的に照合する仕組みであって、分析そのものを裏で再実行しているわけではありません。使われた手法が、その研究の問いに対してそもそも適切だったかどうかは判断の対象外です。公式ドキュメントも「Claudeは間違える可能性があり、レビューアーはエラーを減らすが無くしはしない。研究・論文・意思決定に使う前に結果を検証してほしい」と明記しており、Claude Scienceは臨床・診断用途を意図した製品ではありません。

同じ考え方を独自の構成で採用しているのが、Allen InstituteのJérôme Lecoq氏のチームです。文献レビュー用の多エージェント構成を組む際、内容を生成するエージェントと、正確性と引用の妥当性を評価する別のレビューアーエージェントを対にする「actor-critic」構成をテンプレート内に組んでいます。標準のレビューアーはSettings > Specialistsから独自のスペシャリストを追加できる設計になっており、Lecoq氏の構成はそれとは別に、用途に合わせて自分でエージェントの役割分担を組んだ例です。Claude Science公開時に紹介された導入事例の要点はClaude Scienceが研究者向けベータ提供開始で扱っています。

まとめ

Claude Scienceの「監査可能な成果物」は、単一機能ではなく、版管理・Provenance・レビューアーという3つの仕組みが組み合わさって成立しています。数か月後に同じ図を再現したいときはProvenanceのCodeとEnvironmentタブを、実行された内容そのものを疑うときはExecution Logを確認します。レビューアーは記録との整合性をチェックする役割であって、科学的な妥当性の保証や査読の代わりにはなりません。プロジェクトが計算機ごとに独立して保存される点も含め、どこまでが自動で保証され、どこからが人の確認に委ねられているかを切り分けて使うことが、この仕組みを過信しないための出発点になります。導入できるプランと料金の違いはClaude Scienceの対応プランと料金にまとめています。実際の研究現場での使われ方はClaude Scienceは研究者のどんな作業を代替するかで扱っています。