BalyasnyがClaude Fable 5を評価し統制する方法

Anthropicは2026年9月17日、ヘッジファンドBalyasny Asset Management(BAM)のCharlie Flanagan氏へのインタビューを公開しました。肩書はChief AI Officerです。BAMはClaude Fable 5を、数千の実務タスクによる評価と、モデルの外側に置いた権限制御の両方で本番投入しています。

評価・成果の数値はFlanagan氏本人の発言で、第三者による検証は付いていません。運用資産や人員の規模は、ブログ冒頭のAnthropic側の紹介文にある数字です。

要点

BAMは運用資産約380億ドル、投資担当者とスタッフ約2,000人の複数の戦略を組み合わせる投資会社です。安全性は「モデルの選定」ではなく運用設計の問題として扱い、データ境界・最小権限・ツール単位の権限・ログ・人によるレビューをモデルの外側に置いています。数字で見ると次の4点です。

数字

インタビューに出てくる数字

• 評価の正答率

  89.4% 対 86.1%

  該当する部分集合で、Fable 5と従来の本番モデル

• 合併裁定の初期分析

  3〜5日 → 1日未満

  エージェントの実行は約30分

• 中央銀行分析

  約2日 → 約30分

  チーフエコノミストが組んだワークフロー

• BAMAgent

  数千のエージェント

  構築開始から6か月で24時間稼働

あなたの利用フローはどう変わるか

この事例は金融機関のものですが、モデルを導入する側の手順として読み替えられる部分が3つあります。

新モデルをどう試すか

BAMは一般的なベンチマークや単発のデモに頼らず、自社の実務タスクで新モデルを測ります。株式・マクロ・コモディティにまたがる、結果を検証できるタスクが数千件あります。モデル単体と、実際のツール・ファイル・要件を備えたエージェント環境の中の挙動を、別々に見ている点が特徴です。

見る項目は6つあります。作業を計画できるか、適切なツールを選べるか、証拠を見つけて分析できるか、エラーから復帰できるか、中間結果を自分で確認できるか、根拠のある成果物を出せるか、です。失敗の型も個別に追います。数値の誤り、カバレッジの取りこぼし、根拠のない結論、検索(リトライバル)の不具合です。

Claude Codeで自社タスクの評価セットを組む場合も、同じ切り口を使えます。たとえば「期待する結果が機械的に判定できる課題」を集め、モデルを切り替えて同じ課題を回します。Claude Code自体の概要はClaude Codeの全体像にあります。

エージェントにどこまで権限を渡すか

BAMの前提は「モデルが上手に推論できるから権限を広げる」ことをしない、という一点です。使えるツールとデータは、そのユーザーとそのタスクに承認されたものに限られ、エージェントが自分で権限を増やすことはできません。判断と説明責任は人に残ります。

これらの統制は最初の日から優先事項で、Fable 5の登場で安全対策の設計が根本的に変わったわけではありません。アクセスを広げる前には、敵対的な場面や失敗の場面を試験し、例外的な事例には明確なエスカレーション経路を用意します。

このモデルの外側に置く統制の考え方は、Claude Codeの権限設定やhooksとも相性がよい発想です。ただしインタビューはBAMAgentの内部実装を明かしておらず、Claude Codeの機能との対応は読み手側の類推になります。

出力を誰が確認するか

合併裁定の分析も、中央銀行分析の自動化も、最後は担当者が確認します。実行時間が短くなっても、確認工程は消えていません。

背景・文脈

「プロンプト」から「成果」を渡す運用へ

Flanagan氏は、2026年を「検索をするAIから、仕事をするAIへ」移った年だと語ります。変化の中心はモデルそのものより、Claude Codeのようなハーネス(モデルを包む実行基盤)で、プロンプトではなく成果を渡し、完了まで走らせられるようになった点です。

合併裁定の分析が具体例で、案件が発表されるとエージェントが初期の分析パッケージを作ります。

手順

合併裁定の初期分析でエージェントがやること

1. 1

   確率と期間を見積もる

   取引が成立する確率と、完了までの期間を出します。

2. 2

   条件を抽出する

   主要な経済条件と法的条件を取り出します。

3. 3

   マイルストーンを洗い出す

   条件の充足や期限といった節目を並べます。

4. 4

   人の判断が要る領域に印を付ける

   投資家が判断すべき箇所を示し、そこから先は人が受け持ちます。

1年前は、これらが手作業の調査と別々のツールに分断されており、複数の工程を最後まで通せるエージェントはありませんでした。

89.4%と86.1%は何を測った数字か

この数字は「関連する部分集合」での結果で、母集団の全タスクの成績ではありません。差は3.3ポイントです。BAM自身が指摘するように、大きかったのは複雑な計画・分析・エージェント的な実行の場面でした。

89.4%という数字以上に目を引くのは、これまで一度もモデルが解けなかった経済学の問題群を、Fable 5が初めて解いたことです。BAMは最初、評価側の不具合を疑いました。評価を再実行し、タスクと採点ロジックを独立に確認し、Anthropicとも結果を突き合わせたうえで、改善は本物と判断しました。想定外に良い結果をまず疑う手順は、評価を運用する側の参考になります。

Fable 5はどんなモデルとして出たか

Fable 5は2026年6月9日に発表された、Mythosクラスのモデルを一般利用向けに安全化したモデルです。発表時の価格は入力100万トークンあたり10ドル、出力50ドルでした。

一部の話題の質問は、安全対策によって次点のClaude Opus 4.8が応答する設計です。分類器が見るのはサイバーセキュリティ、生物・化学、蒸留(モデルの出力を別モデルの学習に使うこと)の3領域で、フォールバックが起きるとユーザーに知らされます。発表時点の初期データでは、フォールバックなしで終わるセッションが95%を超えます。一方で対策は保守的に調整されており、無害な依頼を拾うこともあると発表ページは認めています。

BAMの評価対象である株式・マクロ・コモディティの分析は、この3領域のどれにも名前が挙がっていません。インタビューは、BAMの評価でフォールバックが起きたかどうかには触れていません。

Fable 5が使えなかった時期もある

Fable 5は発表の3日後に提供が止まり、約3週間後に戻りました。経緯を並べると、導入側が「モデルが使えなくなる日」を設計に織り込む理由が見えます。

あゆみ

Fable 5の提供とインタビューまで

1. 2026年6月9日Fable 5を発表

   一般向けに提供が始まりました。

2. 2026年6月12日アクセスを停止

   米政府が輸出管理を適用し、国籍をリアルタイムで確認する手段がなかったためAnthropicが提供を止めました。

3. 2026年7月1日世界で再開

   輸出管理指示の解除を受け、新しい安全分類器を載せて提供を再開しました。

4. 2026年9月1日Fable 5.1が登場

   後継モデルで、単価はFable 5と同じです。

5. 2026年9月17日BAMのインタビューを公開

   評価と統制の話はFable 5が対象です。

停止と再開の詳しい経緯はFable 5とMythos 5のアクセス停止とFable 5が7月1日に再開にあります。Fable 5.1の価格と主な変更点はClaude Fable 5.1の解説です。BAMが運用しているのがFable 5と5.1のどちらかについて、インタビューは触れていません。

モデルの使い分けはコストと効率で決める

現在、BAMの投資チームはFable 5を、システマティックな作業とコーディングの第一候補として使っています。一方で、効率とコストに基づき、Fableと他モデルのどちらを使うかの指針も渡しています。同じ発想の比較はFable 5とOpus 5の違いで、料金・データ保持・fast modeの観点から見られます。

BAMAgentではFableを計画と分析の段階に充てています。ここでの間違いは以降の全成果物に伝わるため、問題の分解や、どの証拠が重要か、矛盾するシグナルをどう調停するかを最強のモデルに任せています。

BAMAgentは何をする基盤か

BAMAgentは、承認済みの業務フローにエージェントを安全に配備するための社内基盤です。ツールもシステムも、必要なものだけを渡します。実行環境やデータアクセス、レビューの仕組みは自社構築で、Anthropicのモデルはその中で使う部品にあたります。

くらべる

チャット基盤とBAMAgentの役割

これまで

チャット基盤

人が情報を取り込み、要約を得るための道具です。

次の段階

BAMAgent

数時間から数日かかる多段階の調査と分析を、複数のエージェントが並列で進めます。終わりは、人が確認できる成果物です。

具体例として、企業リサーチパッケージの作成と更新、決算やマクロイベントの事前準備、新しい証拠の財務シナリオへの変換があります。エージェントは計画を立て、承認済みの社内システムを使い、中間出力を自分で確かめて、リサーチ成果物・モデル・意思決定の支援資料のいずれかを返します。

BAMAgentの成果事例

• タックスロス・ハーベスティングの分析で、BAMAgentが約9万のデータベーステーブルを探索し、投資信託の保有データを見つけて独自の重み付け方式を作りました。チームの確認後、従来の手法より包括的だったと評価されました
• チーフエコノミストが組んだワークフローでは、定例の中央銀行分析が冒頭の数字のとおり短縮されました。エコノミストは確認と判断を続けています
• 一部のチームでは、300を超えるエージェントが新しいデータや情報を常時分析しています。見逃しを減らす狙いだと語られています

結果は「モデルの推論と統合」と「BAMの基盤が担うワークフロー設計・承認済みデータとツールへのアクセス・権限・監視・人のレビュー」の組み合わせによるもので、BAMは両方が必要だとしています。

統制は二重にかかっている — Anthropicの分類器とBAMの権限制御

Fable 5を使う側から見ると、安全の仕組みは2層あります。1層目はAnthropicがモデルに載せた分類器で、サイバー・生物化学・蒸留の依頼を別モデルへ回します。2層目はBAMがモデルの外に置く統制で、データ境界・最小権限・ツール単位の権限・ログ・人のレビューです。

2つは守る対象が違います。分類器は、モデルが悪用される事態を防ぎます。BAMの統制は、正当な利用者が使うモデルが、承認されていないデータやツールに届くのを防ぎます。Flanagan氏はモデルの外側に統制を置き、モデル自体が統制だとは見なしません。これは2層目の話です。

さらに停止の経緯を重ねると、3つ目の備えも見えてきます。Fable 5は輸出管理で一度全面停止しており、導入側のルーティングや代替モデルの用意は、評価系と同じくらい現実的な設計項目です。BAMが「Fableと他モデルのどちらを使うか」の指針を持っているのは、コストの理由だけでなく、この種の事態への備えとしても働くと読めます。ただしFlanagan氏は停止に言及していないので、この読みはインタビューの外側からの推測です。

BAMは成果の主語をモデルでなく基盤に置いている

この事例で目に留まるのは、成果の主語がモデルではなく基盤側に置かれている点です。BAMは、実行ハーネス・データアクセス・レビュー制御のほとんどを自社で作っていると述べ、企業は「ホスト型エージェント」への移行戦略を持つ必要があるとも語っています。管理と強制を企業側が握りつつ、ユーザーにとっての有用性を最大化するという考え方です。

ここは発言者の意見であって、金融業界の一般的な見解とは限りません。日本の金融機関で同じ設計が成り立つかは、個別の規制対応が絡みます。関連する論点は金融業界のClaude活用ガイドやClaude金融導入事例が扱っています。

もう一つ、AIの独立評価に関わる動きとも文脈がつながります。AnthropicとAccentureの提携は、組み込み型の評価者を内部に置く体制の話で、評価者を提供側に置く形です。BAMの事例は利用側が自前で評価系を持つ話です。評価者がモデルの内側に近い位置から見るAccentureの形とは、立ち位置が違います。

読むときの注意点もあります。評価・成果の数値はすべて自己申告で、インタビューには評価セットや採点方法の記載がありません。また、インタビューはAnthropicが自社ブログに掲載した顧客事例で、否定的な要素が出にくい形式です。

まとめ

誤りのコストが大きい領域では、実務タスクでの評価とモデル外の権限制御をセットで設計する例として使えます。BAMの数字は自社のタスクで測った結果なので、他社で再現する材料にするなら、89.4%対86.1%という差より、失敗の型を分けて見る評価の切り口のほうが持ち出しやすいです。