Claudeバイオインフォマティクス評価 — BioMysteryBenchの結果
Anthropicの新ベンチマークBioMysteryBenchで、Claudeは人間の専門家パネルが解けない問題の一部を解いた。99問の設計と結果を読む。
BioMysteryBenchとは何か
BioMysteryBenchは、Anthropicが開発したバイオインフォマティクス特化のベンチマークです。実世界の生物学データセットをClaudeに分析させ、専門家パネルでも解けなかった問題をどこまで解けるかを測ります。2026年4月29日、Discoveryチームの研究者Briannaによる記事として公開されました。ライフサイエンス分野でのClaude活用の実例の延長線上にある取り組みです。
このベンチマークの核心は、99問すべてに客観的な正解があることです。質問は科学者の結論ではなく、データが持つ検証可能な性質(実験的・臨床的知見)から作られています。「この一塩基多型データセットはどの臓器由来の細胞タイプか」「RNA-seqデータに基づき、実験サンプルで欠失している遺伝子は何か」といった具体性の高い問いです。生の、あるいは最小限の処理を施したDNA・RNAシーケンシングデータ(全ゲノムシーケンシング、単一細胞RNA-seq、メチル化解析、ChIP-seq、メタゲノミクス、Hi-C)を中心に、プロテオミクスとメタボロミクスの問題も含みます。
Claudeは各問題ごとに、標準的なバイオインフォマティクスツールを最小限備えたコンテナ環境に置かれます。pipやcondaで追加ツールを自由にインストールでき、NCBIやEnsemblといった標準データベースへのアクセス権も与えられ、参照ゲノムなどの追加リソースをダウンロードできます。
なぜ既存ベンチマークでは足りなかったのか
生物学研究の評価を難しくしているのは、次の3つの性質です。
1つ目は、正解が1通りではないことです。2型糖尿病患者がメトホルミンに反応する・しないを分ける要因を調べる場合でも、GWAS(ゲノムワイド関連解析)で応答群と非応答群の遺伝的変異を比較する方法と、腸内細菌叢をシーケンシングする方法のどちらも妥当です。研究者の専門性やリソースによって進め方が変わります。BixBenchのように結論だけを採点する方式もありますが、その結論自体が個々の研究者の主観的な判断の産物という別の問題を抱えます。
2つ目は、個々の研究判断が主観的で、ノイズの多いデータでは結論そのものが割れることです。メトホルミン応答性を予測する遺伝子変異の探索では、2011年の論文が2つのコホートで再現される変異とAMPK活性化という妥当な機序を報告した一方、翌年のDiabetes Prevention Programによる追試では同じ変異に効果が見られませんでした。さらに翌2012年のメタ分析は5つのコホートを統合し、効果は実在するが当初の報告より小さいと結論しています。SciGymはシミュレーターを使うことでこの問題を回避しますが、シミュレーション環境での性能が実データにどこまで一般化するかは不明です。
3つ目は、人間自身がまだ答えを持っていない生物学的な問いが多く存在することです。メトホルミンの主要な作用機序は、開発から30年経った現在も確定していません。ProteinGymやCASP(タンパク質構造予測コンペティション)は実験測定値を正解とすることでこの問題に対応していますが、対象タスクの幅は限定的です。
BioMysteryBenchはこの3つの課題に、データの客観的な性質から問いを作ることで対応しています。手法を問わず最終的な結論だけを採点するため研究の自由度を保ちつつ、正解自体はデータの検証可能な性質に紐づくため主観的な判断に依存しません。この設計により、人間が解けるかどうかに関係なく問題を作成できる点も特徴です。
実際の問題例
問題作成者は、まず実データから答えを検証できるノートブックを提出し、シグナルが実際にデータ内に存在することを示す必要があります(ゼロから見つけるのが難しくても構いません)。高校数学の「答えの検証は導出より簡単」という原則と同じ発想です。この手順により、そもそも解けない不良設定の問題を排除しています。
実際に使われた問題の例は次のようなものです。
- この単一細胞RNA-seqデータセットの細胞タイプは、どのヒト臓器に由来するか
- RNA-seqデータに基づき、対照サンプルと比べて実験サンプルで欠失している遺伝子は何か
- 全ゲノムシーケンシングデータから、サンプルXの母親・父親はそれぞれどのサンプルか
- bigWigファイルのうち、どれがChIPサンプルでどれが入力対照か
- 未知の細胞タイプ由来のH3K27ac ChIP-seqピークから、その細胞タイプを特定する
人間が解ける問題、解けない問題で結果はどう分かれたか
99問それぞれに最大5名の専門家が個別に解答を試み、人間の基準性能を測定しています。少なくとも1人が正解した問題を「人間解決可能」、専門家パネル全員が正解できなかった問題を「人間困難」と分類しました。
| 分類 | 問題数 | 特徴 |
|---|---|---|
| 人間解決可能 | 問題数76問 | 特徴専門家の少なくとも1人が正解 |
| 人間困難 | 問題数23問 | 特徴専門家パネル全員が不正解(4問は問題自体の不備で除外) |
人間解決可能な76問では、Claudeは世代を追うごとに着実に性能を伸ばし、最新世代は人間の専門家と同等の水準に達しています。より注目すべきは人間困難な23問で、最新世代のうちClaude Mythos Previewが30%の解決率に達しました。専門家パネル全員が解けなかった問題の3割を、Claudeが解いたことになります。
人間解決可能な問題では、人間とClaudeが同じ戦略に行き着くこともありました。人間がすでにほぼ最適な手法を見つけているか、あるいはその手法が事前学習データに豊富に含まれているためだと考えられます。一方で、Claudeがまったく異なる経路を通ることも珍しくなく、この問題群に「唯一の正しい解き方」など存在しないこと、そしてモデルには人間と異なる固有の指向性があり得ることを示しています。人間の専門家がアルゴリズムやデータベースを使ってデータセットの性質を同定・注釈付けするのに対し、Claudeはパターンや配列を直感的に認識する場面が目立ちました。この種の抽象化はAI固有のものではなく、最初の真核生物プロモーターも、遺伝子上流の配列に「TATA」という文字列が繰り返し現れることに研究者が気づいたことから発見されています。従来の生物学系の機械学習モデルにはこうした直感を組み込みにくかった一方、LLMは前例のない規模でこの種のパターンを見つけられる可能性があります。
Opus 4.6の分析からは、Claudeが人間と異なる2つの戦略を使っていることが分かりました。1つは知識ベースの広さを生かす戦略で、構造生物学・分子プロファイル・数十万本の論文からのメタ分析的な知見を組み合わせ、人間なら専用のメタ分析やデータベース横断照合が必要な問題を直接解く場面が見られました。もう1つは不確実性への対処です。Claudeは答えに自信が持てないとき、複数の手法を重ねて複数の証拠を突き合わせ、収束する答えを選ぶ傾向がありました。これは人間の科学者も学べる部分がある戦略です。
正解率だけでは見えない「解の再現性」
この記事には、もう一つ珍しい構図があります。正解したかどうかだけでなく、同じ問題を5回試行したときにどれだけ安定して正解できるかを分析したのは、Anthropicの研究者ではなくベンチマークの対象であるClaude Mythos Preview自身です。5回中5回正解するなら再現性の高い手法を持っている一方、5回中1回だけの正解は、たまたま見つかった推論経路である可能性が高いという考え方です。
人間解決可能な問題では、Opus 4.6が解けた問題のうち86%は5回中4回以上正解する「安定した正解」でした。ところが人間困難な問題では、この割合は44%まで下がり、5回中1〜2回しか正解しない「脆い正解」の割合は9%から44%へ跳ね上がります。Sonnet 4.6ではこの傾向がさらに顕著で、安定正解の割合は75%から22%へ、脆い正解の割合は9%から56%へ変化しました。
つまり、人間解決可能な問題での77.4%という正解率が、人間困難な問題では23.5%まで下がるという見出しに使われた数字は、実態をさらに下回っている可能性があります。解きやすい問題では確実に知っていることを引き出しているのに対し、難しい問題での正解の半数近くはたまたま辿り着いた経路であって、安定して再現できる手法ではないためです。この「再現性のギャップ」こそが能力のフロンティアが実際にどこにあるかを示す手がかりだ、というのがClaude Mythos Previewの分析です。Anthropicはこの自己分析について、再現性という重要な指標に踏み込んだ点は妥当だが、新しい問いを立てたわけではなく退屈でもあると評しつつ、モデルが研究のセンスの芽を見せ始めている兆候だと受け止めています。Opus 4.7とMythosはこのフロンティアを少し押し広げ、Mythosは解決可能な問題の94%を5回中4回以上の安定正解で解いています。それでも人間困難な問題については、解けるときは5回中4〜5回、そうでなければほぼ解けないという二極化と、1〜2回だけ当たる脆い正解が混じる構造が、どのモデルでも共通していました。
この分析には、ベンチマークそのものの限界も認めています。人間もモデルも解けていない問題については、それが本当に解けないのか、単に極めて難しいだけなのかを判別する手立てがありません。問題作成時に提出される検証ノートブックも、シグナルがデータの中に存在することとデータが健全であることを裏付けるだけで、モデルや人間がゼロからその答えにたどり着けることまでは保証しません。1年後に人間困難セットの一部がまだ誰にも解かれていなくても、それ自体は失望すべきことではないという立場が示されています。
外部ベンチマークとの符合
この記事が仕上がる直前に、GenentechとRocheの研究者らがCompBioBenchという計算生物学ベンチマークをbioRxivで発表しました。合成・拡張データとメタデータのスクランブル処理によって作られた100問の計算生物学タスクで構成され、複数ステップの推論・ツール利用・独自コードの記述・外部リソースとの連携を要求する点でBioMysteryBenchと設計思想が近いベンチマークです。
CompBioBenchでもClaude Opus 4.6は全体で81%、最難問カテゴリでも69%に達しました。異なる設計のベンチマークで似た結果が出たことは、フロンティアモデルがバイオインフォマティクス研究の実務で使える水準に達しつつあるという結論を補強しています。
まとめ
BioMysteryBenchは、正解の主観性という生物学研究評価の根本問題を、データの客観的な性質から問いを作ることで回避したベンチマークです。99問中23問の「人間困難」セットでMythos Previewが30%を解決した点は、Claudeが単に人間に追いついているだけでなく、一部の領域では専門家パネルを上回り始めていることを示します。一方で正解の再現性は人間困難な問題ほど下がっており、「解けた」という事実だけでモデルの実力を判断しないほうがよい段階にあります。ライフサイエンス分野での具体的な活用手順はClaude製薬創薬活用ガイドにまとめています。関連する研究助成の枠組みはAI for Science希少疾患枠を参照してください。