Claude Docsのカオスループ — 20億リクエストをエラー60件で乗り切った手法
Claude Docsの公開前に、ステージングでClaudeを2週間回し続けて本番規模の障害を先に潰した手順を解説。20億リクエストでエラー60件に収めた経緯と、費用、小規模への当てはめ方を読み解きます。
Claude Docsは公開から1週間足らずで460万件超の文書が作られました。20億リクエストに対するサーバーエラーは60件です。ロールバックは一度もありません。Anthropicの開発者ブログで、公開前の準備を担当したVivek Nair氏がその裏側を明かしています。
中心にあるのは「カオスループ」と呼ぶ進め方です。ステージング環境でClaudeを2週間回し続け、わざと本番規模の負荷と障害をかけ、落ちた箇所をその場で直させました。この記事では、ループの1周の中身、メモリを3GBから180MBへ減らした経緯、費用、小さなサービスに持ち込むときの組み方を見ます。製品としてのClaude Docsの使い方はClaude Docsとはにあります。
要点
公開前の2週間で何をしたか
- ステージングでClaudeを2週間回し続け、本番規模の負荷と障害をかけて、落ちた箇所をその場で直させました
- 守らせた条件は2つだけで、戻しにくい変更だけは人の承認を挟みました
- 公開後、20億リクエストに対するサーバーエラーは60件、ロールバックは0回でした
- 費用は約12万5,000ドルで、小さなサービスなら2週間で3,000〜10,000ドルという見当です
あなたのサービスでは、どう組めるか
ブログが挙げる手順は、エンジニア1人、Claude Code、ステージング環境、監視サービスという前提です。調整役とサブエージェントは速度を上げましたが、1時間あたりのトークン消費が気になるなら、単一のエージェントに戻しても十分うまくいくと著者は述べています。
| 手順 | 中身 | 最初の一歩の例 |
|---|---|---|
| テレメトリを渡す | 中身多くの監視サービスはMCPサーバーを持つ | 最初の一歩の例使っているサービスのMCPをClaude Codeに接続する |
| 負荷を書かせる | 中身本番トラフィックの10倍をステージングへかけ、わざと壊す | 最初の一歩の例インスタンスを落とす、DBを止める、急増中にデプロイする |
| 直させ続ける | 中身落ちた箇所をClaudeに直させる | 最初の一歩の例反映は元に戻せる変更に限る |
| 測りやすい構成に寄せる | 中身Claudeが測りやすいものを選ぶ | 最初の一歩の例依存を減らし、数字が自分のコードに辿れる形にする |
| 不変条件を書いて渡す | 中身戻しにくい変更は選択肢と推奨案を添えて止まらせる | 最初の一歩の例承認が要る範囲の節にある指示文の例を土台にする |
障害を意図的に起こす発想そのものは新しくありません。専用のカオス実験ツールをClaudeにつなぐ方法はClaudeとSteadybit MCPでカオス実験を設計・実行するにあります。違いは、シナリオを走らせたあとの計測の読み取りと修正までを、Claudeが止めずに回し続ける点です。
検証の層の考え方はClaude Codeチームの検証の考え方にあります。
カオスループはどう回したのか
公開前のClaude Docsは、数千人が使う1台のサーバーだった
公開の3週間前、Claude Docsは1台のノードで動く試作品でした。使っていたのはAnthropic社内の数千人だけです。その規模の利用では、公開後の負荷に耐えるかどうかは何も分かりません。しかも公開日は決まっていて、見積もりでは最初の数日で数百万件の文書ができるはずでした。
公開前後の実績
作られた文書
460万件超
9月22日時点。最初の100万件は約30時間
処理したリクエスト
20億
サーバーエラーは60件
サービス全体のポッド数
約50
メモリ最適化タイプ
本番へのデプロイ
629回
9月の1か月、ロールバック0
20億リクエストで60件は、約3,300万リクエストに1件の割合です。この数字を支えた判断は2つあります。
- 本番規模の負荷を、ステージングでClaudeに2週間かけ続けさせた(カオスループ)
- 計測した数字がコードに直結して読めるよう、サービスの作りを選んだ(Claudeから見た「読みやすさ」)
2つはつながっています。ループは、毎周正確な計測値が返ってきて初めて修正を詰め切れます。
カオスループの1周で、Claudeは何をしているのか
9月4日、公開の約2週間前に、Nair氏はステージングのクラスターを本番に似せて組みました。1日あたり100万件超の合成文書を流せる構成です。そこへClaude Codeのセッションを1つ立て、止めずに放置しています。
このセッションは調整役でした。作業の大半はサブエージェントに渡し、いちばん忙しい週で同時に約11体、ピークで30体が動きました。調整役は社内版のClaude Tag(ベータ)をSlackのMCP経由で使い、似た規模のサービスを育てた他のインフラチームのエージェントに、スケール方針の落とし穴を確認させてもいます。
1周の流れは次のとおりです。
ループ1周の流れ
- 1
シナリオを選ぶ
ハーネス(テストの仕掛け)が「文書の作成」のような機能を選び、限界まで負荷をかけます。
- 2
テレメトリを読む
Datadog MCPで計測値を取り、Claudeが短い選択肢の一覧と推奨案を出します。
- 3
元に戻せる変更ならそのまま直す
修正を書き、別セッションのClaudeがレビューしてからステージングに反映し、同じテストをもう一度走らせます。
- 4
戻しにくい変更は人に聞く
DBのスキーマ、キー配置、文書の保存・展開方式の変更で止まり、推奨案つきで承認を求めます。
「心配しすぎ」と思うほどのシナリオを選ぶ
負荷の種類は、Nair氏が「心配しすぎだろう」と感じるものを選んでいます。1日に1,000万件の文書が作られる、2万2,000本の接続が一斉に再接続する、1つの文書を数百人が同時に開く、文書を読み込み中のサーバーが落とされる、データベースが止まる、といった具合です。
テレメトリは全操作に入れ、足りない分はClaudeが毎周書き足した
サービスが実行するすべての操作に計測が入っています。たとえばDBクエリは、名前と、走査した行数・返した行数を報告します。走査数が返却数に比べて大きければ、非効率なクエリだとClaudeが自分で見つけ、書き直せます。
そのうえでClaudeは毎周テレメトリを読み、足りないと判断した計測を自分で書き足しました。手書きだと面倒なため、計測は壊れてから足すことが多かったものです。
承認が要る範囲と守る条件は、ループの前に渡す
開始前に、Nair氏は「自分の承認が要る判断」をClaudeに伝えました。戻しにくい変更が対象で、スキーマやキー配置、文書の保存方式がそうです。スキーマ変更は典型で、合理的な答えがたいてい複数あり、方向転換が痛いことも多いからです。Claudeはそこで止まり、たいてい推奨案を添えて聞いてきて、Nair氏はそれを承認する側に回りました。
テスト全体を通して守らせた不変条件は2つだけです。
- 長い履歴を持つ文書でも、ほぼ一瞬で開くこと
- サーバーが編集を受理したら、その編集がテストで残っていると確かめられること
進捗メモや照合するテストの置き方はClaudeに長時間の科学計算を任せる手順が近い話題です。
同じことを自分の案件でやるなら、たとえば次のような指示になります。ブログに載っている文面ではなく、記述をもとにした例示です。
目的: ステージングの<サービス名>を、公開時の想定負荷で落ちない状態にする。
守る条件:
1. 文書は履歴が長くてもほぼ即座に開く
2. サーバーが保存を確認した編集は、テストで必ず残っていると確かめる
次の変更は実行前に必ず私へ確認すること。選択肢を2〜3個と推奨案を添える:
- データベースのスキーマ、キー配置の変更
- データの保存・展開方式の変更
それ以外で元に戻せる変更は、ステージングへ反映して再テストしてよい。メモリ3GBの文書が、3日で180MBになるまで
ループの効き方がいちばん分かるのは、メモリの件です。ハーネスを回し始めてすぐ、巨大な1つの文書がポッド上で約3GBを使っていました。
Claudeが最初に出した手は、サーバー側のキャッシュを小さくして、文書を早く追い出すことでした。しかし次の実行で、メモリがあったのは別の場所、つまり依存ライブラリの内部にある別のキャッシュだと分かり、Claudeは自分でこの変更を取り下げています。
そこから先は、より細かいメモリのプロファイルで絞り込んでいます。原因は、キーストロークのたびに文書が複数のデータ構造へコピーされ、そのたびに数MBずつ増える作りでした。Claudeはこれらをコピーオンライト(書き込みまで実体を共有する方式)に切り替え、各構造が1つの参照を共有するようにしました。約3日の反復で、この文書は約180MBで頭打ちになります。
効果はサービス全体の見積もりにも現れています。公開に必要なポッド数の見積もりは、メモリ最適化タイプで500超から約50に下がりました。
最初の仮説が外れても、次の計測で自分から取り下げています。計測が毎回返ってくるループだから成り立つ動きです。
計測が読めるように、ランタイムと依存を絞った
もう1つの判断は、技術選定でした。基準は「Claudeが測った数字が、自分たちの書いたコードまで辿れること」です。Nair氏は、モデルはきれいな信号があるほど改善を積み重ねやすいと見ています。
ガベージコレクション(GC)のある言語は、メモリとレイテンシがGCの都合で動くため、ノイズになると予想して避けました。
数字を追いやすくする2つの選択
Rustで書く
GCがないので、文書のメモリはすべて自分たちで定義した構造の中にあります。増えたとき、Claudeはどの構造が原因かを指し示せ、直して、次の反復で下がったかを確かめられます。
依存を最小限にする
ライブラリごとに、自分たちが書いていないデータ構造が入ってきます。どうしても要る少数は、ソースを取り込んで(ベンダリングして)自分たちで読み、測れる状態にしました。
比較の限界も書かれています。社内にはGoの優れたツールもあり、2つの言語を比べるテストはしていません。ここまでは、あくまでRustでの経験です。Goで仕事をしてきた著者がRustで好印象を持ったのは、コードが使い終わったあとにメモリが残り続けることを、ほとんど気にしなくてよかった点でした。
人間にとってRustは書くのが難しく、数年前なら選定でこれが重くのしかかったはずです。今はClaudeがRustもほかの多くの言語もこなすので、その重みはかなり小さくなりました。言語選びの基準が「人が書きやすいか」から「測りやすいか」へ寄ったという話で、この点は小さなサービスにも持ち込めます。
本番で起きたこと — 想定した10シナリオのうち7つが現実になった
公開週は「不思議と見慣れた感じ」だったそうです。Claudeは、サービスが壊れる経路を想像するのが得意で、公開のずっと前に大半を計画に載せていました。ステージングで予行した10シナリオのうち7つが、本番で実際に起きています。
そのころには、ハーネスがステージングで大半を通していて、修正は実行時フラグの裏に入れて出荷済みでした。インフラの一部が圧迫されたときは、たいていフラグを切り替えるだけで済んでいます。
なぜ数か月前では成立しなかったのか
Nair氏は「数か月前なら、おそらく成立しなかった」と書いています。以前のモデルは、MCPサーバー経由でテレメトリを読むこと自体はできました。ただ、ループが10回か20回進むと、何を最適化しているのかを忘れ始め、目的を言い直す必要が出ていたそうです。社内ではこれを、目標のずれ(goal drift)と呼んでいます。
新しいフロンティアモデルは長時間の作業向けに作られていて、何度もコンパクション(会話の圧縮)を挟んでも不変条件を保ち続けた、と述べています。著者自身は、Claude Fable 5.2とおおむね同等の社内研究用モデルを使いました。価格やプランはClaude Fable 5.2とMythos 5.2の発表にあります。
同様のやり方はほかでも出ています。Vercelも、人が見張るエージェントのループでTurborepoを最大96%速くしています。
費用 — 12万5,000ドルと、小規模なら3,000〜10,000ドルという見積もり
8月末から公開日までに使った推論は、ブログが示す2026年11月のClaude Fable 5.2のAPI定価で、約12万5,000ドル(125,000ドル)です。2年ほど前なら、エンジニアのチームで約6か月かかったはずだと著者は見積もっています。使い道の大半は、テレメトリの読み込み、提案書き、修正の生成、コードレビューでした。
この金額を読むときの前提が3つあります。
- 公開規模が特別に大きかった。その規模でしか意味のないインフラが含まれ、推論も多く使った
- 手順を探る間、ループを止めずに回し続けたため、試行錯誤の分も入っている
- 今の知識なら、半分くらいで済んだと著者は考えている
小さなサービスなら、どう見積もるか
著者は、小規模チームにありがちな構成でも見積もっています。ある程度の大きさのKubernetesノード2台前後と、Postgres 1台です。8月末から公開日までに入れた変更のうち、この構成に要らないものを引きました。
- 他の社内サービスとの連携
- 製品・クライアント側の作業(スケール作業と混ざっていたもの)
- 多数のポッドをまたぐ処理
- 細かいレート制限
残ったのは約3分の1でした。支出もその3分の1に縮め、手順を探る間の失敗を抜くと、同じ定価(2026年11月のClaude Fable 5.2のAPI定価)で、2週間の取り組みで3,000〜10,000ドルという見当です。実際に走らせた数字ではなく、ざっとした見当だと著者自身が断っています。
この数字をどう読むか
20億リクエストで60件という結果は、ループだけの成果とは言えません。著者は、Docsチームが同じ3週間に数千件のエディタ修正を入れたこと、プラットフォームとストレージの各チームが土台を作っていたことに、謝辞を出しています。内部の研究用モデルを使っている点も、そのまま再現できる条件ではありません。
それでも読むべき点は明確です。このやり方で再現しやすい部分は、計測の質と承認線の設計にあります。
- GCのない言語と最小限の依存は、「Claudeが測った数字を信じてよい」状態を作るための投資でした
- 承認線をスキーマ変更のような戻しにくい判断だけに絞ったので、残りの大半は人を待たずに回りました
- 不変条件は2つに絞られ、長い反復でも守られました
メモリの件で最初の仮説を取り下げられたのも、次の計測が正しく返ってきたからです。
まとめ
Claude Docsの公開は、20億リクエストで60件のエラーという結果でした。支えたのは、ステージングでClaudeを2週間回し続けるカオスループと、計測値が自分たちのコードに辿れる技術選定です。
小さなサービスでも当てはまり、著者の見当では、同じ定価で2週間3,000〜10,000ドル程度です。まず試すなら、監視サービスのMCPをつなぎ、守る条件を2つ書き、戻しにくい変更の承認線を決めるところから始められます。ブログはステージング先行、元に戻せる変更だけ自動、という順序を前提にしています。
参照した一次ソース
この記事の記述は、次の一次ソースと照合しています。更新時に参照先が変わった場合は一覧も更新します。