Claude Scienceは再現性をどう担保するか — 監査可能な成果物の仕組み

AnthropicはClaude Scienceの発表の中で、Claude Scienceが「auditable artifacts(監査可能な成果物)」を生み出すと説明しています。これは製品ドキュメント上の1つの機能名ではありません。実体はArtifact(成果物)の版管理、Provenance(来歴)パネル、レビューアーという3つの仕組みの組み合わせです。中身を分解すると、何が再現でき、何が保証されないかが見えてきます。

「監査可能な成果物」は3つの別の仕組みでできている

Claude Scienceでアーティファクトと呼ぶのは、図・処理済みデータセット・レポート・ノートブックなど、Claudeがプロジェクトに保存する出力ファイルです。セッション中に書き出されるだけのファイルは、セッション終了の数時間後に消えます。アーティファクトとして保存したものは、削除するまで残ります。

再現性を支えるのは、次の3層です。

仕組み

再現性を支える3層

• 版管理(Versions)

  同じセッションで同じファイル名を保存し直すたびに新しいバージョンが積み上がり、過去のバージョンをたどれます。

• Provenance(来歴)

  各バージョンがどう作られたかを、会話・コード・実行記録・環境の単位で残すパネルです。

• レビューアー

  保存内容と実行記録が食い違っていないかを、独立して読み直すエージェントです。

3つはそれぞれ別のドキュメントページで説明されています。「Auditable Artifacts」という名前のページや設定項目はありません。

数か月後に同じ図を検証するとき、何が残っているか

バージョンは、Claudeが同じセッションで同じファイル名を保存し直すたびに増えます。Markdown・コード・プレーンテキストは自分で編集して保存でき、その保存も新バージョンになります。Markdownの表は、本文中のセルをクリックして直接書き換えることも可能です。画像・PDF・HTML・CSVなどの表形式ファイルは、その場では編集できません。

古いバージョンは読み取り専用です。戻したいときはClaudeにもう一度保存させます。会話中のリンクは、その時点に存在した特定のバージョンを指し続けます。ファイルを開くとバージョンの切り替えと差分表示が使え、差分は比べる相手のバージョンを選べます(既定は一つ前)。

各バージョンのProvenanceパネルには、5つのタブがあります。

CodeタブとExecution Logが食い違うときは、Execution Logを信用します。ドキュメントがそう明記しており、表示用のコードより実行の記録が優先されます。用語集によれば、Execution Logはセッションのノートブックのセルのうち、そのバージョンを作ったものの切り出しです。

Environmentはconda(パッケージ管理システム)の名前付き環境で、後続のセッションでも使い回されます。ここで押さえたいのは共有の範囲です。環境は同じ計算機上の全プロジェクトで共有され、環境の一覧や削除は設定画面ではなくClaudeへの依頼で行います。環境に入れたパッケージは恒久的に残ります。

一方、コードセルの中で直接pip installやinstall.packages()したパッケージは、カーネルが再起動するまでしか持ちません。カーネルはアイドルが約30分続くか、パッケージ導入で環境が再起動されるか、セッションが終わると止まります。数か月後にバージョンを突き合わせるときは、Environmentタブの一覧と手元の環境の現状を並べる作業になります。

コードだけを保存しても、ライブラリのバージョンが違えば同じ結果になるとは限りません。Environmentタブがコードと対で残ることで、「コードは同じなのに結果が合わない」場面の切り分けに使えます。

レビューアーは何を検出し、何を検出しないか

レビューアーは、Claudeの直近の応答・承認済みの計画・保存済みアーティファクト・実行記録を独立に読み直し、主張が記録と一致しているかを調べます。応答のあとに自動で走り、長時間の作業中は定期的に走ります。Request reviewでいつでも手動実行もできます。

くらべる

レビューアーの守備範囲

記録との照合

指摘できるもの

何も実行していないのに「計算済み」とされた結果、元ファイルの値と食い違う数値、引用元が裏付けていない参照、DOIが別の論文を指す参照、未完了のまま残った計画のステップ、使った手法から導けない結論です。

再実行と適否

指摘できないもの

分析の再実行はしません。結論が手法から導けるかは見ますが、その手法が研究上の問いに対して適切だったかは判断しません。

ドキュメントの注記には、Claudeは間違える可能性があり、レビューアーは誤りを減らしても無くしはしない、とあります。研究・論文・意思決定に使う前に結果を検証するよう求めており、Claude Scienceは臨床・診断用途を意図した製品ではありません。

Anthropicの発表記事は、レビューアーが「誤った引用、追跡できない数値、元のコードと合わない図」を指摘し、自己修正していくと書いています。ドキュメント側の説明は、指摘を受けたClaudeが次のメッセージで作業を直すか、指摘が当てはまらない理由を説明するかのどちらかです。「直す」ことは保証されず、指摘を退ける応答もあり得る設計です。

指摘は該当メッセージの直下にカードで出ます。1つのメッセージに指摘が4件以上あると最初の3件だけが見え、Show allで全件を開きます。カードをクリックするとレビューアーの判断の全文が読めます。

自動実行(Auto-review)の既定値はプランで違います。

Auto-reviewはセッションの設定メニューのトグルで切り替えます。作業中にオフにすると、すでに動いている委任作業も含めて新しい自動レビューは始まりません。始まっているレビューや順番待ちのレビューは最後まで走ります。オンに戻すと、オフの間に進んだ作業から再開されます。レビューの実行は、そのつどプランの使用量を消費します。

Settings > SpecialistsのReviewerでは、Instructions欄に独自のチェック項目を足せます。足した項目は毎回のレビューに加わるだけで、組み込みのチェックを外したり弱めたりはできません。レビューアーとは別に、自分の研究の進め方に合わせたスペシャリストを新しく作ることもできます。

成果物を持ち出す・残すとき、何が起きるか

アーティファクトはアプリのデータフォルダー(~/.claude-science)に保存され、削除するまで残ります。Deleteは全バージョンを完全に消します。セッションを削除してもアーティファクトと来歴は残りますが、プロジェクトを削除するとセッション・アーティファクト・プロジェクト単位のメモリーがまとめて消えます。

見落としやすいのは、保存先が計算機単位だという点です。Anthropicはプロジェクト・アーティファクト・会話履歴をClaudeアカウントに同期しないため、別の計算機でサインインしても、以前の作業はもとの計算機に残ったままです。数か月後に同じ図を検証したい場合、残す手順は次のとおりです。

手順

検証できる状態を保つ手順

1. 1

   データフォルダーの場所を知る

   アプリのSettings > Storage > Data locationに表示されます。ここをふだんのバックアップの対象にします。

2. 2

   中身を手で動かさない

   ~/.claude-scienceの中でファイルの移動・名前変更・削除をすると、アーティファクトのリンクやバージョン履歴が壊れることがあります。操作はアプリ経由で行います。

3. 3

   持ち出す単位を選ぶ

   単体のファイルならメニューのDownloadです。プロジェクトのフォルダーを開いて直接コピーする方法もあります。Export sessionで書き出すファイルは技術サポート用で、別の計算機のClaude Scienceには読み込めません。

4. 4

   複数の計算機で同じ作業を見る

   Linuxサーバーに1台だけインストールし、各計算機のブラウザーからSSHトンネルで接続する構成が、公式に挙がっている方法です。

起動オプションの--data-dirで保存先を別の場所に移すと、サインイン用のトークンと共有パッケージ環境は既定の~/.claude-scienceに残ります。移した先のデータフォルダーをバックアップしても、環境は含まれません。

図やレポートには、コメントで該当箇所にメモをピン留めできます。対象はMarkdown・プレーンテキスト・LaTeX・コードの選択範囲、PDFの選択範囲、画像上の点、HTMLレポートの要素で、表は対象外です。セッションの会話記録にもコメントできます。保存しただけでは送られず、次のメッセージと一緒にClaudeへ渡ります。スレッドや解決済みの状態はなく、修正後の版にはあらためてコメントします。

コメントは1件1,000文字までで、ダウンロードには含まれず、Filesにも出ません。そのため、図への修正指示は、持ち出したファイルには残りません。

現場ではレビューアーをどう使っているか

Allen InstituteのJérôme Lecoq氏は、約20の自作スキルからなる文献レビュー用の多エージェント構成を組みました。内容を書くエージェントと、正確性と引用の忠実さを評価する別のレビューアーエージェントを対にする「actor-critic」の形です。発表記事によれば、以前は1本のレビューに最大2年かかっていたところ、100ページを超えるものを含む約10本のレビューを、レビューアーエージェントが引用を確認した状態で持てるようになりました。チームは批評役のエージェントを、領域の専門家と一緒に磨き込んでいる最中だと書かれています。

標準のレビューアーに独自の項目を足す前述の仕組みとは別に、役割分担そのものを自分で組んだ例です。導入事例の全体像はClaude Scienceが研究者向けベータ提供開始で扱っています。

UCSF Brain Tumor Centerのグリオーマ研究では、発表記事によれば、Stephen Francis氏のグループがClaude Scienceの結果を自分たちで独立に検証しています。分析が速いことと、結果が頑健であることを確かめた、という書き方です。レビューアーの有無にかかわらず、研究者自身が結果を検証する前提がここにも見えます。

まとめ

Claude Scienceの「監査可能な成果物」は、記録を残す仕組みと、記録との整合を見る仕組みの組み合わせです。実行内容そのものを疑うときはExecution Log、環境の差を疑うときはEnvironmentタブ、バックアップの対象はデータフォルダーと共有環境、と使い分けます。分析の適切さは自動では保証されないため、最後の確認は人に残ります。導入できるプランと料金の違いはClaude Scienceの対応プランと料金にあります。実際の研究現場での使われ方はClaude Scienceは研究者のどんな作業を代替するかで扱っています。