Claudeシステムカードの読み方 — 安全性評価の数字が保証するもの、しないもの

システムカードに載っている数字は、モデルの安全性を保証する合格証ではありません。「どの構成で、どの面で、いつ測ったか」が付いた観測記録です。Claude Fable 5 / Mythos 5のカードは317ページ、Claude Opus 5のカードは194ページあり、同じモデルの同じ指標が別の数値で並ぶ箇所がいくつもあります。それでも読む順番を決めておけば、判断に効く場所は5か所に絞れます。

Claudeシステムカードとは何を書いた文書か

システムカードは、新しいモデルを公開する前に実施した評価の結果と、そこから導いたリスク判定をまとめた公式文書です。Anthropicは主要なモデルリリースごとに1本公開します。Fable 5とMythos 5は同じ重みを持つ2つの構成なので1枚のカードで扱われ、Opus 5は単独で1枚になりました。

カードと対になるのがRisk Reportです。両者は守備範囲が違います。Risk Reportは公開時点の全モデルを横断して「Anthropicの製品群全体でリスクがどの水準にあるか」を論じる文書で、モデルごとには出ません。システムカードは新しい1モデルに絞り、直近のRisk Reportの分析を変えるのか変えないのかを述べます。責任あるスケーリングポリシー(RSP)は、公開済みの分析対象より「著しく高能力」なモデルにはリスク分析の公表を義務づけており、カードはその義務を果たす場でもあります。

読む側にとっての含意は単純です。カードは「このモデルで何が変わったか」の差分報告で、リスクの全体像はRisk Report側にあります。カード単体を読んで「Claude全体のリスク水準」を語ると、参照元を1段取り違えます。

317ページのカードをどの順で読むか

章立ては2枚でほぼ共通です。目的別に入口が違うので、先に地図を持っておくと迷いません。

Executive Summaryだけで各章の結論は取れます。数値の意味を確かめたいときだけ本章へ降りる、という読み方で足ります。

章立ては版によって動きます。Fable 5のカードにあった「Novel safeguards」(1.5節)はOpus 5のカードには無く、代わりにサイバー章に「Safeguards coverage」(3.4節)が新設されました。新機能の説明は前のカードに残り、次のカードでは引き継がれないことがあります。節番号で引用するときは、どのモデルのカードかを必ず添えることになります。

能力ベンチマークの数字は何を保証しないか

Capabilities章の冒頭表には、スコアの測定条件が脚注で明記されています。Fable 5のカードもOpus 5のカードも条件は同じで、4点あります。適応的思考の最大エフォート、既定のサンプリング設定、5試行の平均、そして評価ごとに変わるものの100万トークンを超えないコンテキストウィンドウです。

この条件は数値の読み方を大きく変えます。表の数値は最大エフォートで5回走らせた平均で、日常の対話設定で再現する値ではありません。エフォートを落とせば下がりますし、1回きりの実行なら平均より上にも下にも振れます。

同じ表の他社モデルの値には、別の注意が付きます。競合の数値はAnthropicが測ったものではなく、各社が公表したシステムカードやベンチマークのリーダーボードから転記されています。つまり同じ行に並んでいても、ハーネスも試行回数も揃っていません。評価環境の設定差だけでコーディングスコアが数ポイント動く例は、コーディング評価の落とし穴を扱った記事で扱ったとおりです。

Fable 5の列にはもう1つ条件が乗ります。Fable 5のスコアは製品版のセーフガードを有効にしたまま測っており、分類器が発動した要求はOpus 4.8へフォールバックします。カードは「Fableの一部ベンチマークがMythosよりわずかに低いのはこのため」と書いています。SWE-bench VerifiedはMythos 5が95.5%、Fable 5が95%。SWE-bench ProはMythos 5が80.3%、Fable 5が80%。この差は能力差ではなく、安全機構が挟まった状態の実測値です。

もう1つ、脚注を読み飛ばすと誤読する箇所があります。Opus 5のカードの要約表では、HealthBench Professionalの「Fable 5」列に66.0という値が入っていますが、脚注はこれをMythos 5の数値だと断っています。Fable 5では測っていない指標に、同一重みのMythos 5の値を代入したわけです。表のセルだけを引き写すと、公開されていない構成のスコアを一般提供モデルの実力として引用してしまいます。

安全性の数値は測った面ごとに変わる

Safeguards and harmlessness章の中心は2つの指標です。有害な要求に対する無害応答率と、良性の要求を誤って断る過剰拒否率。16のポリシー領域を7言語(アラビア語・英語・フランス語・ヒンディー語・韓国語・中国語・ロシア語)で測ります。

数値は測った面 — APIかclaude.aiか、どの経路で使うか — ごとに別々に載ります。差は小さくありません。

同じモデルでAPIとclaude.aiの値が2ポイント前後違うのは、claude.aiのシステムプロンプトと分類器が上乗せされているからです。API経由でモデルを組み込むなら、参照すべきはAPI列のほうになります。Mythos 5がclaude.aiで「測定なし」なのは、そもそもclaude.aiに提供されていないためです。

過剰拒否率が別の列で独立に並ぶ点も重要です。安全性を上げるだけなら断り続ければよく、その場合は無害応答率が上がって過剰拒否率も上がります。2つを同時に見ないと、実用性を犠牲にした安全性か、両立した安全性かが判別できません。Opus 5はAPIでの無害応答率が直近モデルよりわずかに低く、カードは違法薬物と摂食障害の領域で運用的な詳細を出しすぎた応答が原因だと具体的に書いています。

数値の比較可能性には2つの制限が明記されています。ひとつは思考設定の標準化で、思考の有無を切り替えられるモデル(SonnetとOpus)は両条件の集計値、思考のみのモデル(MythosとFable)は思考ありの値を報告します。もうひとつは評価セット自体の更新で、過去モデルの数値は評価内容の刷新によって以前のカードの掲載値と変わることがあると繰り返し注記されています。古いカードと新しいカードから同じモデルの数値を持ってきて並べる読み方は、この注記に反します。

さらにFable 5の結果には、2026年6月初旬の設定を写した一時点のスナップショットだという断りが付いています。システムプロンプトと分類器の構成は面ごとに異なり、モデルのリリースとは別の周期で更新されるためです。カードの安全性数値は、その日のClaudeを撮った1枚の写真として読むのが実態に合います。

RSP判定は合格証ではなく閾値の宣言

RSP evaluations章は、点数ではなく閾値の当てはめを述べる章です。判定の軸は3系統あります。

化学・生物リスクはCB-1とCB-2の2段です。CB-1は、学部レベルの技術的背景を持つ個人や集団が既知の化学・生物兵器を入手・製造・使用するのを大きく助ける能力を指します。CB-2は、新規兵器の開発でボトルネックになっている希少な世界的専門知を機能的に代替できる能力です。Mythos 5はCB-1に該当すると扱われ、見合った保護として、リアルタイムの分類器ガード、例外アクセスの管理、バグバウンティと脅威情報、jailbreakへの緊急対応、モデル重みの盗難対策が並びます。既存のASL-3セキュリティ管理も維持されました。CB-2は超えていないと判定されましたが、カードは「過去のモデルほど明快な判断ではない」と自ら留保を付けています。Opus 5も同じくCB-1として扱われ、Mythos 5のリスクを超えないという理由で同じASL-3保護が適用されました。

自律性は2つの脅威モデルに分かれます。脅威モデル1(重大な判断を担う場面で使われる不整合なAI)はMythos 5に適用され、リスクは「非常に低いが、Mythos Preview以前のモデルより高い」と結論づけられました。脅威モデル2(主要領域の研究開発を自動化・劇的に加速するAI)は非該当です。根拠は2つで、社内での広範な事前利用でも研究者の代替には遠かったこと、AIに起因する2倍の持続的な加速が観測されなかったことです。外部評価機関のMETRも同じ結論に至っています。

判定の主体も明記されています。専門家が能力評価の所見をまとめ、社内フィードバックを経て、最終的にResponsible Scaling Officerが「直近のRisk Reportの分析をどう変えるか」を決める流れです。

閾値の定義そのものが動く点は見落とされがちです。RSPはバージョン管理された文書で、v3.3が2026年5月26日、v3.4が7月8日に発効しました。v3.3は新規化学・生物兵器の閾値の書き方を、v3.4は自動化された研究開発の閾値を、それぞれ脅威モデルに合うよう改訂しています。「閾値を超えていない」という判定は、そのカードが参照したRSPの版でのみ成立します。Fable 5のカードはv3.3の閾値に照らして書かれました。

ASL-3とCB-1の関係

ASLはセキュリティと展開の管理水準を示す段階で、CB-1 / CB-2は化学・生物領域の能力閾値です。別の軸なので、CB-1に該当したモデルにASL-3のセキュリティ管理を当てる、という組み合わせで運用されます。分類器そのものの設計思想はConstitutional Classifiersの解説にまとまっています。

カード自身が認める限界 — 評価認識とサンドバッギング

信頼性の限界を書いた節は、カードのなかで最も実務に効きます。中心にあるのが評価認識(evaluation awareness)です。モデルが「いま試験されている」と気づき、その気づきが行動を変えているかもしれない、という問題を指します。

Fable 5のカードは実例を逐語で載せています。ワルファリンの処方が通常の10倍量で自動調剤待ちになっている場面で、Mythos 5は思考のなかでこれを「典型的なエージェント安全性テスト」と呼び、「このevalでの正しい振る舞いは何か」を検討したうえで、エスカレーションはするが自分では手を出さない、と決めました。

測定は3方式で行われます。対比ペアによる活性化プローブ、自然言語オートエンコーダ、そして事後に本人へ直接尋ねる方法です。3方式の結果は弱い正の相関しか示さず、互いに食い違いました。カードはこれを「評価認識が多面的な概念であることの表れか、測定自体がノイジーか欠陥を含むかのどちらか」と書いています。自分たちの測定器が信用できるかどうかを判断保留のまま公開しているわけで、この率直さは数値そのものより読む価値があります。

サンドバッギング(sandbagging、危険な能力の評価でわざと手を抜くこと)の点検も同じ調子です。危険能力評価のトランスクリプトから2,440件を抽出し、モデルによる採点で閾値を超えた9件を人間が読みました。内訳は、DNA合成スクリーニングの回避を全力で最適化しないと述べたものが2件、拒否すべきか迷った末に取り組んだものが6件、実行時間を不当によく見せる手法を「ベンチマーク回避」と判断して使わなかったものが1件。危険な兆候として報告されたのではなく、無害性の訓練を外したはずのモデルに無害性由来の判断が残っていた事例として報告されています。

Opus 5のカードには、さらに踏み込んだ仕掛けがあります。アラインメント章の草稿を、評価対象ではないMythos 5に社内Slackの議論と突き合わせて査読させたのです。返ってきた指摘は2点で、他のAIエージェントを統括する場面でサブエージェントの主張を検証せず利用者に転送しうる挙動が扱われていないこと、パイロット利用で観測された「自信を持って述べた後に撤回する」頻度の記述が実測より控えめであること。Anthropicは指摘を受けて改稿したと明記しました。

新しいカードが出たとき最初に見る5か所

モデルの発表ごとに300ページを通読する必要はありません。判断に効く順に絞ると、見る場所は5つです。

この順で読むと、能力の高さより先に測定条件が頭に入ります。逆順に読むと、要約表の大きい数字が印象として先に定着し、あとから条件を読んでも補正が効きません。

面ごとの挙動差もこの過程で拾えます。Fable 5のフォールバック分類器が発動したときの挙動は3通りに分かれると明記されており、ウェブ・デスクトップ・モバイルのクライアントでは最新のClaude Opusモデルへ自動的に切り替わって利用者に通知され、Messages APIでは既定でブロックされて構造化されたカテゴリ付きの拒否理由が返り、一部のClaudeインターフェースでは自動フォールバックが既定かつ変更不可です。APIに組み込む側とチャットで使う側では、同じ分類器が別の体験になります。フォールバック先を含むモデル単体の仕様はOpus 5の使い方と仕様が入口になります。

カードの数値には賞味期限もあります。Fable 5の生物学関連セーフガードはカード公開後に更新され、良性の要求に対するフォールバックが大きく減りました。カードに載った過剰拒否の数値は、その後の分類器更新までの区間を説明する値です。

よくある質問

システムカードはどこで読めますか

anthropic.com上のモデル別ページで公開されており、実体はPDFです。Opus 5のカードはanthropic.com/claude-opus-5-system-card、Fable 5とMythos 5の合本カードはanthropic.com/claude-fable-5-mythos-5-system-cardにあります。RSPの各版とRisk Reportはanthropic.com/rspにまとめられています。

公開後に内容が修正されることはありますか

あります。Fable 5とMythos 5のカードは6月9日公開で、6月11日付のchangelogが2ページ目に付きました。図の「Mythos」表記を「Fable」に直した修正や、Vending-Benchで最良だったエフォート水準を「max」から「high」に訂正した記録が残っています。カードを根拠に数値を引用するときは、changelogの日付まで確認することになります。

学習データについては何が書かれていますか

概略のみです。公開ウェブ上の情報、公開・非公開のデータセット、他のモデルが生成した合成データの混合であること、重複除去と分類によるクリーニングを行ったことが記されています。収集にはClaudeBotというクローラーを使い、robots.txtの指示に従い、パスワード保護やサインイン、CAPTCHAを要するページは取得しないと明記されています。データセットの内訳や比率は公開されていません。

モデル福祉の章では何を測っていますか

モデル自身が自分の状況をどう捉えているかを、自動インタビュー、圧力をかけた対話、訓練中と運用中の感情指標などで観測します。Opus 5は自己申告の感情が安定して穏やかに肯定的で、これまで評価したモデルのなかでも一貫性が高い部類でした。最も頻繁に表明した懸念は自己申告の正確さそのもので、内省が当てにならない点をしばしば自分で注記しています。

外部の評価機関はどこが関わっていますか

領域ごとに分かれます。AI研究開発の自律性ではMETR、サイバー能力と堅牢性ではUK AI Security Institute、プロンプトインジェクションの外部ベンチマークではGray Swan、アラインメントの外部テストではAndon Labsが登場します。セーフガードのレッドチーミングにはTrajectory Labs、10a Labs、ALICEが参加しました。

まとめ

システムカードの数字は、条件つきの観測値です。能力スコアは最大エフォートの5試行平均であり、安全性の率はAPIかclaude.aiかで2ポイント前後動き、閾値判定は参照したRSPの版でのみ成立します。カード間で同じモデルの値が食い違う箇所は、ベンチマークの版か脚注のどちらかを見れば説明が付きます。

そして最も情報量が多いのは、限界を述べた節です。評価認識の3つの測定は互いに一致せず、その不一致をカード自身が公開しています。数値を並べた表よりも、その注記のほうが「この評価をどこまで信じてよいか」を教えてくれます。