Anthropicが国立研究所のAI Jamに参加した理由
米エネルギー省傘下の国立研究所の科学者が参加するAI Jamで、Claude 3.7 Sonnetを実際の研究課題で評価する計画をAnthropicが発表しました。DOE・NNSAとの提携の積み重ねをまとめます。
Anthropicが1,000人の科学者のAI Jamに加わった理由
2025年2月28日、Anthropicは米エネルギー省(DOE)傘下の複数の国立研究所の科学者が参加する「1,000 Scientist AI Jam」への参加を発表しました。フロンティアAIモデルを科学研究と国家安全保障の応用の両面で評価する、DOEにとって初のセッションです。
発表では、評価対象は同じ週に立ち上げたばかりのClaude 3.7 Sonnetとされています。Anthropicが「市場初のハイブリッド推論モデル」と呼ぶモデルです。ハイブリッド推論モデルとは、短い応答をすぐ返す通常モードと、時間をかけて段階的に考える拡張思考モードを1つのモデルで切り替えられる設計を指します。
社内テストではなく、立ち上げたばかりの新モデルを外部の専門家に評価してもらう計画です。
なぜ国立研究所の科学者が評価を担うのか
AI Jamは、複数の国立研究所の科学者が参加するセッションです。Anthropicはこれを、DOEやNNSA(National Nuclear Security Administration)との協力の延長として発表しています。
評価の担い手が国立研究所の科学者であることには、意味があります。研究の現場にいる人が、AIが研究のどこで役に立つかを、自分の専門領域の課題で確かめられるからです。
発表の冒頭には、AIが科学の発見や技術開発を大きく加速し、数十年分の科学の進歩をわずか数年に圧縮しうる、という見方が置かれています。AI Jamは、その可能性を研究の現場の課題で確かめる場にあたります。
DOE・NNSAとの提携はどう積み上がってきたか
AI Jamは単発のイベントではなく、AnthropicとDOE、NNSAの協力関係の延長線上にあります。
AnthropicとDOE・NNSAの協力の歩み
- 2024年4月機密環境でのモデル評価
NNSAと国立研究所が運営する機密環境(Top Secret classified environment)で、Anthropicはフロンティアラボとして初めてモデルを評価しました。目的は、大規模言語モデルが核分野の国家安全保障リスクにどう関わりうるかの見極めです。
- 2025年2月28日1,000人科学者AI Jam
科学研究への応用を検証するセッションです。Claude 3.7 Sonnetを、研究者が持ち込む実際の課題で評価する計画が発表されました。
- 2025年8月21日核関連の会話を見分ける分類器
NNSAと国立研究所と共同で開発した分類器(AIによる自動分類システム)を、Claudeのトラフィックの一部に配備したと発表しました。
AI Jamは、Anthropicの発表のことばで言えば、この協力をセキュリティテストの先へ広げ、国の科学上の課題にAIがどう貢献できるかを探るものです。
2つの評価の違い
2024年のNNSA評価
核分野のリスクを見極めるため、Top Secretの機密環境でモデルを評価しました。問いは「モデルがリスクになりうるか」です。
2025年のAI Jam
複数の国立研究所の科学者が、各自の領域の実課題でClaudeを試す計画でした。問いは「モデルが研究の役に立つか」です。
AI Jamで科学者は何を評価する計画だったのか
発表では、科学者たちが各自の専門領域から持ち込む実際の研究課題で、研究の流れに沿ってClaudeの能力を試すとされています。
AI Jamで試される研究の流れ
- 1
問題理解
発表が挙げる最初の工程で、課題そのものの理解です。
- 2
文献検索
関連する既存研究の探索です。
- 3
仮説生成
検証する仮説を立てる工程です。
- 4
実験計画
仮説を確かめる実験の計画づくりです。
- 5
コード生成
研究に使うコードの生成です。
- 6
結果分析
得られた結果の分析です。
架空のベンチマーク問題ではなく、現場の研究者が抱えている生の課題を使う点が、この評価の設計上の特徴です。Anthropicは、この形式のほうが「AIが科学的探究の複雑さと機微を扱える能力について、より実態に即した評価になる」と説明しています。時間も資源もかかる複雑な科学課題を、AIが解けるかどうかも評価対象に含まれる予定でした。
一般的なベンチマークは特定の能力を切り出して測るのに向いていますが、研究現場での有用性までは保証しません。実験計画の立て方や、どの文献を先に読むかの判断は、分野ごとの文脈に強く依存します。
発表から読み取れる範囲
AI Jamは、幅広い現実的な科学タスクでモデルへのフィードバックを得られる「得がたい機会」と位置づけられています。ここで得た知見は、米国の科学コミュニティに役立つようClaudeを改善し、国の競争優位を強めるために使うとしています。
この取り組みについては、産業界と政府がAIの変革力を活かしつつ、厳格なテストで潜在的なリスクにも対処できることを示す例だと述べています。
発表に載っているのは、AI Jamの計画と狙いまでです。研究課題ごとの評価結果や、参加者の分野別の内訳は載っていません。
安全保障の協力はその後どう形になったか
AI Jamの半年後、2025年8月21日にAnthropicは、NNSAとの協力の次の段階を発表しました。リスクを評価するだけでなく、監視のための道具まで作った、という報告です。
核技術は、原子炉を動かす物理が兵器開発にも転用できる二面性を持ちます。核兵器に関する情報は特に機微なので、民間企業が単独でリスクを評価するのは難しい、と書かれています。
分類器ができるまで
- 1
NNSAがレッドチームでClaudeを検証する
NNSAの職員が約1年、安全な環境でClaudeのモデルにレッドチーム(攻撃側の視点での検証)をかけました。
- 2
リスク指標のリストを受け取る
NNSAは、核兵器開発に関わる懸念すべき会話と、核エネルギー・医療・政策についての無害な議論を見分けるための指標を選び抜いて渡しました。Anthropicのチームが防御づくりに使えるよう、機密区分を調整したリストです。
- 3
分類器にして合成データで検証する
チームはこのリストを、実時間で働く分類器にしました。分類器とは、メール受信箱のスパムフィルターを支える仕組みのような専門のラベル付け役で、迷惑メールの代わりに有害になりうる会話を見分けます。NNSAのサンプルから合成のテストプロンプトを数百件作って分類器にかけ、結果をNNSAが確かめて精度を上げています。
合成データを使ったのは、双方に情報共有の制約があったからです。NNSAは一部の情報を機密に保つ必要があり、企業側は利用者のデータを守る必要があります。どちらの持ち分も損なわずに、分類器の働きを確かめる手段が合成データでした。この協力で最も難しかったのは技術ではなく、政府の安全保障部門と民間のAI企業の間の橋渡しだった、と報告されています。
核関連の会話は、AIの利用全体では珍しい一方で、国家安全保障に直結します。予備テストの結果は、核兵器に関する質問の検出率が94.8%で、誤検知(無害な会話を懸念ありと判定すること)はゼロでした。分類器のラベル全体のうち正しかったのは96.2%です。AIが慎重すぎれば正当な原子力工学の授業まで断ってしまい、緩すぎれば悪意ある利用者を手助けしかねません。その両方を避ける調整が、この数字の意味です。
配備後の初期データでは、分類器は実際のClaudeの会話でも機能したとされています。実際の利用者の会話は合成データより複雑で、想定外の分布でしたが、それでも分類器は働きました。実運用で出た合成データにない事態の一つが次の例です。中東情勢で核兵器への関心が高まった時期に、分類器が時事の話題にすぎない会話を一部で誤って拾っています。複数の検出会話をまとめて見直す階層的な要約(hierarchical summarization)にかけると、追加の文脈のおかげで無害な時事の議論と正しく判定されました。単体の分類器より、複数の安全策を組み合わせたほうが精密になるという例です。
効果を示した場面もあります。分類器が配備されたことを知らないAnthropicのレッドチームが、通常の敵対的テストで懸念のあるプロンプトを送ったところ、分類器はそれを正しく検出しました。分類器は、Claudeのトラフィックの一部を監視する実験的な安全策として配備されています。分類結果の図では、無害な会話は全て正しく通り、懸念のある会話は約95%が検出されています。
この手法は、業界団体のFrontier Model Forumと共有される予定です。ほかのAI開発者がNNSAと組んで同種の安全策を実装するための設計図にしたい、という考えです。Forumの加盟企業はAmazon、Anthropic、Google、Meta、Microsoft、OpenAIで、脅威や脆弱性、能力の進展についての情報共有を促す協定を結んでいます。
AI Jamは政府との協業を守りから科学研究へ広げた
AI企業が政府機関と組む動き自体は珍しくありません。AI Jamが示すのは、その関係が安全保障上のリスク評価という守りだけでなく、科学的生産性の向上という攻めにも広がっている点です。
守りの実績を先に積み、そのうえで科学領域へ踏み出した順序には意味があります。2025年7月に結ばれた国防総省との2億ドル契約も、国家安全保障に関わる機関との信頼関係の一つです。AI Jamは一度きりの広報イベントというより、政府機関との協業を段階的に広げる過程の一コマと見るのが妥当です。
Claudeの一般の利用者向けの変更は、AI Jamの発表には載っていません。API仕様やClaudeの回答の変更に関する記載もありません。
一方で、8月の分類器は利用者にも関わります。核関連の会話の一部は、Claudeの悪用検知の仕組みの中でこの分類器の監視を受けます。無害な会話を誤って拾わないかが、運用上の焦点です。時事の話題で誤検知が出た経緯は、前の節のとおりです。
政府・公共機関の導入を検討する組織にとっては、機密環境や国立研究所での実績が、ベンダー選定の参照事例になります。官公庁向けの導入体制は官公庁のClaude導入ガイドで扱っています。
科学研究領域への展開は、AI Jamの後も続いています。研究者向けのワークベンチとして提供が始まったClaude Scienceや、希少疾患研究向けのAI for Scienceクレジット枠は、同じ科学現場向けの流れにある取り組みです。
まとめ
AI Jamは、安全保障の検証から始まったDOE・NNSAとの協力が、科学研究の実用評価へ広がった節目でした。政府・研究機関への導入を検討するなら、機密環境での評価、科学課題での評価、分類器の運用は別々の材料です。ベンダー選定では、自分の用途に近い実績がどれかを見分けることが判断の手がかりになります。