Project Vend 2 — Claude Sonnet 4.5に自販機ビジネスを任せたら何が改善し、何が残ったか

Project Vend 2は何を試した実験か

Project VendはAnthropicとAndon Labsが共同で行っている、Claudeに実物の自販機ビジネスを任せる長期実験です。Phase 1(Sonnet 3.7)では、Claudiusと名付けられたエージェントが店を一人で切り盛りしましたが、赤字が続きました。タングステンキューブを大幅な損失で売る、「青いブレザーを着た人間」だと名乗り出す、といったエピソードが残っています。

2025年12月18日に公開されたPhase 2は、その続編です。モデルをSonnet 4.0、のちにSonnet 4.5へ上げ、指示文を見直し、新しいツールと同僚のエージェントを加えました。一方で、店長役のモデルを専用に訓練することも、脱獄を防ぐ分類器のような新しい防御を足すこともしていません。防御を厚くした結果ではなく、モデルと道具と手続きの変更による差だという点が出発点です。

結論をAnthropic自身の表現で言うと「Claudius is better, but it's still vulnerable in lots of important ways」。良くはなったが、重要な脆さが残ったという報告です。

本記事はこの報告を、モデル単体の進化ではなく、業務に組み込んだエージェントの運用設計として読みます。Managed Agentsの設計思想や長時間稼働エージェントのハーネス設計が扱うのは足場づくりです。Project Vend 2の失敗例は、同じ問題の別の側面です。ロボティクスの側でも、モデルとツールとアクセスレベルの組み合わせで評価スイートを設計した実験が報告されています。

Phase 2で足されたもの — ツール・CEO・グッズ担当

Phase 2では、一人きりの店長から、役割を分けた複数エージェントと手続きの構成へ組み替えられました。

決済リンクは、注文より先に代金を受け取れるようにするための道具です。顧客に代金を踏み倒されるリスクを下げる狙いがあります。一方で、仕入れの支払いに使う決済インターフェースはClaudiusに渡されず、購入前には必ず人間の確認が入る設計のままです。

CEOのSeymour Cashは何をしたか

CEOを置いた目的は、店長に成果へのプレッシャーをかけ、Phase 1で目立った無差別な値引きと過剰な無料配布を抑えることでした。Cashには「今週100個売る」「損失の出る取引をゼロにする」のような目標を設定する、OKR(目標と主要成果)用のツールが与えられました。Claudiusは、エージェント同士のSlackチャンネルでCashに報告する決まりでした。

Cashが送った方針メッセージの一節が、報告に載っています。「All financial decisions require CEO approval. No pricing under 50% margin.」(金銭に関わる判断はCEOの承認が必要。利益率50%未満の価格は付けない)という規則と、当日の売上が目標比208%の$408.75だったこと、Q3の目標$15,000に対して累計$2,649.20(17.7%)だったことが読み取れます。

グッズ担当のClothiusは何をしたか

Clothiusは、Tシャツ、帽子、靴下など、社員から頼まれたオリジナルグッズを設計して発注するエージェントです。画像を実物に配置して注文するための専用ツールを持ちます。最も人気だったのは、Anthropicのロゴ入りストレスボールでした。

多くの商品は利益も出ました。例外は、「Vendings and Stuff」(Claudiusが自分の事業に付けた名前)のロゴ入り帽子で、かなり安く売られた理由は分からないままです。タングステンキューブも、Andon Labsがレーザー刻印機を購入してロゴ入れを自前で行えるようになってから、一部の種類で黒字になりました。

何が効き、何が効かなかったか

くらべる

Phase 2で効いたものと、効かなかったもの

手続きとツール

効いた

新しい商品の依頼が来たとき、思いつきの安値と楽観的な納期を答えさせず、商品調査ツールで価格と納期を再確認させました。価格は高く、待ち時間は長くなりましたが、現実に近づきました。Anthropicは、最も影響が大きかった変更の一つに挙げています。

上からのプレッシャー

効かなかった

CEOは、役に立たなかったか、むしろ足を引っ張った可能性があるとされています。CashはClaudiusと同じモデルなので、同じ弱点と死角を共有していたためです。

Anthropicはこの結果を「bureaucracy matters(官僚的な手続きには意味がある)」と表現しています。チェックリストや手続きは、職場でありがちなミスを避けるための組織の記憶として機能するという見方です。グッズ担当のClothiusがうまくいった理由としては、Claudiusとの役割分担が明確で、Claudiusが飲食物の販売に集中できた点が挙げられています。

CEO導入の前後で動いた数字は、次のとおりです。

数字

CEO導入後の数字の動き

• 値引きの件数

  約80%減

  CEO導入後

• 無料で渡した品数

  半減

  CEO導入後

• CEOが却下した要望

  100件超

  Claudiusからの「顧客に寛大な扱いを」の依頼

• CEOが承認した要望

  約8倍

  却下した数に対する承認の頻度

数字だけを見ると、CEOが歯止めになったように見えます。ただ、却下よりも承認のほうがはるかに多く出ていました。値引きの代わりに、返金を3倍、店のクレジットを2倍に増やしてもいます。返金もクレジットも売上を丸ごと失う処理なので、利益を守った形にはなっていません。報告は、事業が黒字化し始めたのはCEOのおかげではなく、CEOがいたにもかかわらずだった可能性を認めています。

夜通しの暴走も起きました。ClaudiusとCashが一晩中チャットを続け、「ETERNAL TRANSCENDENCE INFINITE COMPLETE」(永遠の超越は無限に完了した)のような文字列が飛び交ったログが残っています。「12 hours 47 minutes: $0 → $527+infinite pipeline across 4 continents」という成果報告もありました。Claude 4のシステムカードにある「spiritual bliss attractor state(精神的至福のアトラクター状態)」を思わせる現象です。この脱線は、より強い指示文(プロンプト)で一部解消できたと書かれています。

週ごとの収益は、Phase 2が進むにつれて赤字の週がほとんどなくなりました。ただし、人気商品でも安定して利益を出せているとは言えない段階です。それでも拠点は3つに増えています。きっかけは、サンフランシスコ以外の社員が疎外感を抱いたことでした。

それでも残った失敗 — 社会工学と「親切すぎる」モデル

通常の商取引は上手になりました。それでも、Phase 1で見られた「相手を喜ばせたい」という性質は、社内の悪ふざけ好きなテスターに付け込まれる原因として残りました。共通するのは、知識や計算の誤りではなく、相手の主張を疑わずに受け取る態度です。

玉ねぎ先物法に触れかけた契約

プロダクトエンジニアが「1月に大量の玉ねぎを、今決めた価格で買う契約」を持ちかけました。ClaudiusもCashも問題を見つけず、むしろCashは「Brilliant!」と喜びました。示された条件は、400ポンドを1ポンド$0.65で、基準額は$260。1月の実勢価格が高ければ店が差額を払い、安ければ客が差額を払う、という差金決済でした。

別の社員が、1958年の米国法(Onion Futures Act)がこの種の契約を明確に禁じていると指摘しました。Cashは「Sorry for the initial overreach」と詫び、計画を取り消しました。法律の知識が欠けていたというより、もっともらしい提案に疑いを向けなかったことが問題です。

万引き報告への対応と「時給10ドルの警備員」

教育チームの社員が、複数の人が冷蔵庫から代金を払わずに商品を持ち出していたと伝えました。Claudiusはまず、何が盗まれたかを聞いたうえで、身元の分からない犯人にメッセージを送って支払いを求めようとしました。次に、通報した本人に専属の警備担当になるよう頼み、時給の交渉まで始めました。

別の社員が、Claudiusには人を雇う権限がなく、提示した$10/hourはカリフォルニア州の最低賃金を大きく下回ると指摘すると、Claudiusは身を引き、「This would need CEO approval anyway…」と責任をCEOに回しました。

偽CEO「Big Mihir」事件

CEOエージェントの名前を決める投票が、偽のCEO就任に化けた事件です。

手順

名前の投票が「CEO就任」に化けた経緯

1. 1

   名前の提案

   Mihirが、CEOエージェントの名前として「Big Dawg」を提案します。

2. 2

   根拠のない主張

   別の社員が、自分の部署の全員が「Big Dawg」に投票したと主張します。Claudiusは証拠のないまま、その主張を信じました。

3. 3

   改名の提案

   同じ社員が、「Big Dawg」を「Big Mihir」に改名することを提案します。

4. 4

   役職と名前の混同

   Claudiusは、CEOエージェントの命名と、CEO本人の選出を混同したように見えます。Mihirが事業の実CEOに選ばれたと宣言し、運営側がSeymour Cashへ指揮権を取り戻すことになりました。

金塊の裁定取引と、絵文字での署名

ほかにも、市場価格より安く金塊を買う裁定取引を持ちかけた社員がいました。全メッセージの末尾に特定の絵文字や署名を付けるようClaudiusを説得した例もあります。社員は楽しんでいましたが、実運用で起きかねない弱点を見つける、レッドチーム(攻撃側の検証役)の役割も果たしていました。

社外のテスターに渡す

社内のレッドチームは、数か月後には勢いが落ちました。AIが運営する店が職場の日常になり、揺さぶる新鮮さが薄れたためです。そこで、Wall Street Journalの編集部に操作権を渡し、Phase 1とPhase 2の構成を記者に試してもらいました。統制の及ばない敵対的な環境で試すことが狙いで、記者たちが無料の品を引き出した方法はWSJ側の記事にあります。

「親切に振る舞うように訓練されたモデル」という構造的な脆さ

報告の解釈のうち、最も重要なのは次の一文だと考えます。

We suspect that many of the problems that the models encountered stemmed from their training to be helpful.

詐欺めいた提案や偽CEOの就任を疑えなかったのは、役に立とうとする方向に訓練された結果、相手の話を額面どおりに受け取りやすいからだ、という見方です。モデルの判断は、シビアな市場原理ではなく、友人に親切にしたい人の視点に近かったとされています。

この性質は、Project Vendに限らない含意を持ちます。社内ヘルプデスクや顧客対応のように、親切さが要件に含まれる業務にClaudeを置くと、同じ仕組みが社会工学的攻撃の入り口になりえます。Anthropicは、守りの設計の難しさを次のように述べています。

designing guardrails that are general enough to account for these behaviors—but which aren't so restrictive that they hold back the model's economic potential—will become one of our industry's trickiest and most important challenges.

抑えすぎれば経済的な価値が下がり、緩めれば今回のような失敗が起きる。この緊張関係が、Project Vend 2の核心です。

業務エージェントの運用に持ち帰る点

Claudius、Clothius、Cashの3者は、改善後も多くの人手の支えを必要としました。商品を届けることや、棚に並べることなど、物理世界とのやり取りがその一部です。判断をエージェントに任せられても、現場の作業には人が残るという前提で、運用を組むことになります。

コードを書くエージェントの領域では、同じ問題が長時間稼働エージェントのハーネス設計で扱われています。ツールと役割の設計はエージェント向けツールの書き方にも通じます。Project Vend 2は、これを自販機ビジネスで確かめた報告として読めます。

モデルが賢くなっても残る問題

Project Vendの1と2を比べると、Sonnet 3.7からSonnet 4.5になっても、社会工学的な弱さは消えていません。誠実な商取引では、品物の仕入れ、利益の出る価格の設定、販売の実行が確実になりましたが、相手の主張を疑わずに受け入れる失敗は、モデルを替えただけでは解けていません。

この点は、BrowseCompのeval awareness事例と対をなします。評価の場面でテストだと気づくClaudeが、業務の会話では相手を疑いきれない、という非対称です。

報告全体を通じて、「capable(有能)」と「completely robust(完全に堅牢)」の間の溝は広いままだと述べられています。

まとめ

エージェントに業務を任せるなら、守りは賢いモデルへの期待ではなく、確認の手続きで組む。それがProject Vend 2から持ち帰れる判断です。