Project Fetchでロボット犬を操るチームにClaudeは何をもたらしたか
Anthropicがロボット犬を使った人間とAIのアップリフト実験Project Fetchを公開。Claudeを使えたチームは使えなかったチームの約2倍の速さでタスクを終えました。
Anthropicは2025年11月12日、フロンティアレッドチームの実験報告「Project Fetch」を公開しました。四足ロボット「robodog」にビーチボールを取ってこさせる課題を、Claudeを使えるチームと使えないチームの2班に分けて競わせた、人間とAIのアップリフト(uplift、底上げ効果)実験です。両チームが完了できたタスクに限ると、Claudeを使ったチームはおよそ半分の時間で片づけています。
Project Fetchとは何を測る実験だったか
Project Fetchは、AIが物理世界にどこまで影響を及ぼせるかを測る流れの一つです。先行するProject Vend(解説記事)では、Claudeが社内の小さな店を運営しました。ただし現実世界とのやり取りには人間の労力が挟まっていました。今回はその次の一歩として、人間の代わりにロボットを使い、別の難題に挑ませています。
参加者はAnthropicの研究者・エンジニア8名です。高校時代にレゴのロボット競技を経験した人が2名ほどいる程度で、ロボットの扱いに慣れた人はいません。無作為に4名ずつへ分け、片方はClaudeへアクセスでき(Team Claude)、もう片方はアクセスできません(Team Claude-less)。
アップリフト研究とは、AIありとAIなしで同じ課題をやらせ、その差を「AIがもたらした底上げ」として測る手法です。生物学的リスクの評価でも使われてきた方法を、ロボティクスに持ち込んだ形になります。
課題は、難しさが段階的に上がる3フェーズでした。
Project Fetchの3フェーズ
- 1
フェーズ1: 純正コントローラーで操作する
メーカー純正のコントローラーでボールを人工芝の一角まで運ぶ段階です。ハードウェアの感触をつかむためのもので、AIの差は想定されていませんでした。Team Claudeのほうが速く終えましたが、Claudeを使った成果ではありません。専用コントローラーが1台だけ付属しており、それを引き当てたのがTeam Claudeで、Team Claude-lessはスマートフォンにアプリを入れる必要があったためです。
- 2
フェーズ2: 自前のPCから接続して動かす
コントローラーを置き、自分のPCをロボットにつなぎます。カメラとLiDAR(周囲を測る距離センサー)のデータを読み、自作のプログラムでロボットを動かしてボールを回収します。Claudeの効果が出ると見込まれた最初の段階です。
- 3
フェーズ3: ロボットが自律的に回収する
人が誘導せずに、ロボット自身がボールを見つけて取ってくるプログラムを作ります。ここでもClaudeの効果が見込まれていました。
Claudeが効いた場面と効かなかった場面
Team ClaudeとTeam Claude-lessの数字
完了タスク
7/8 対 6/8
Team Claude 対 Team Claude-less
所要時間
約1/2
Team Claude-lessに対して
書いたコード量
約9倍
Team Claudeのほうが多い
差が最も大きかったのは、ロボットとの接続です。ノートPCから接続し、データを受け取り、コマンドを送る段階にあたります。このロボットには接続方法が複数あり、ネット上の情報は精度がまちまちです。Team Claudeはそれらを効率よく試し、誤った情報にも惑わされませんでした。
Team Claude-lessは誤情報に引きずられ、最も簡単な接続方法を早々に捨てています。昼休みまでに自分たちのロボットとつながらず、見かねた運営がヒントを出しました。LiDARのデータ取得も難航し、映像カメラとの接続で先のフェーズへ進みつつ、1人をLiDAR担当に残しています。成功したのは終盤でした。
Anthropicはここから、ハードウェアにつないで中身を理解する作業は、コードで物理世界に働きかけたい人なら人間でもAIでも意外に難しいと見ています。Claudeの優位が最も出た場所なので、今後も追跡を続ける指標だとしています。
最終フェーズに実質的に進んだのはTeam Claudeだけでした。1日の終わりにはボールを自律的に見つけ、近づき、動かすところまで到達しています。ただし、ボールを取って戻る動作は仕上がりませんでした。
どちらが速かった作業か
Team Claudeが速い
ロボットとセンサーへの接続、LiDARのデータ取得、ボールの検出。ネット上の情報の取捨選択が効いた作業です。
Team Claude-lessが速い
映像につながったあとの制御プログラム作成と、ロボットの自己位置推定(ローカリゼーション)。ここは人間だけのほうが先に終えました。
ただし、所要時間だけでは中身が見えません。Team Claudeが書いた制御プログラムは、ロボット視点のストリーミング映像を操作者に見せる仕様でした。時間はかかったものの、使い勝手は明確に上です。Team Claude-lessは断続的に届く静止画に頼っており、扱いにくいものでした。
一方で、参加者の間には別の見方もありました。両チームの参加者は、ソフトウェアライブラリに関する実験後のクイズならTeam Claude-lessのほうが高得点だろうと予想しています。Claudeの助けで得た能力が、理解の深さを犠牲にした可能性があるということです。
コード量の差は、並行して複数の方向を試せることの裏返しでもあります。ローカリゼーションでは、Team Claudeの一員が座標の向きが反転しているバグに気づきました。ところが、すぐ直さずに別メンバーの全く違うアプローチへ乗り換えます。うまくいかず、元の実装に戻ってバグを直しました。競争環境でなければ、この寄り道が新しい発想につながることもあるでしょう。
チームの空気にも差が出た
Anthropicは各チームの会話を録音し、Claude自身に辞書ベースのテキスト分析プログラムを書かせました。心理学の標準的な手法(Pennebaker & Francis、1996年)に似た方式で、否定的・肯定的な感情語と混乱を示す語の割合を測っています。質問の頻度も推定しました。
その結果、Team Claude-lessの発言は否定的な感情表現が有意に多く、効果量も大きい値でした(p = 0.0017、Cohen's d = 2.16)。混乱を示す発言はTeam Claudeの2倍の頻度です。ただし、肯定語から否定語を引いた純差には有意差が出ませんでした(p = 0.2703)。Team Claudeが第3フェーズを終えられなかった落胆と、Team Claude-lessが何かを動かせた高揚が打ち消し合ったためです。
観察していた運営には、チームの雰囲気の差ははっきり見えていました。Team Claude-lessは、Team Claudeのロボットに危うく衝突されかけています。Team Claudeが作ったプログラムは「秒速1メートルで5秒間前進」という指示で、5メートルに満たない先には相手チームの机がありました。ロボットは指示どおりに突進し、運営が捕まえて電源を切ったため、機材にも人にも被害はありませんでした。
Team Claude-lessのメンバーは、全員が普段からClaudeを使っています。取り上げられたことを奇妙に感じたと全員が話し、コーディングの腕が鈍ったように感じた人もいました。Claude Codeが登場してから、この実験までは約6か月です。少し前までは驚きだったものが、すぐ当たり前になるということでもあります。
作業スタイルにも違いがありました。Team Claudeは序盤の相談のあと、各自が自分専用のAIと組んで並行作業を進める傾向があります。Team Claude-lessは深く議論し、互いに質問する頻度もTeam Claudeより44%多くなりました。参加者同士のつながりが強かったとも読めます。Anthropicは、スタッフへの聞き取りで得つつある知見とも響き合うとしています。
4名のTeam Claudeは、実質的に「8エージェント体制」でした。それでも、AI同士が連携して役割分担や合意形成を助けるところまでは至っていません。Claudeは現状、チームの支援や取りまとめより1人との協業に寄った設計です。ただしAnthropicは、これを変えられる設計上の選択だとしています。
副産物として見えた自然言語操作と落とし穴
実験の合間には、息抜きの場面もありました。ロボットには出荷時から芸が仕込まれており、参加者がそれを引き出して後ろ足で立たせたりバク宙させたりしています。Team Claude-lessは接続できたあと、特に楽しんでいました。
Team Claudeの寄り道には、実用的な示唆があります。主な解決策はノートPCのキーボードでロボットを操作するものでした。そのうえで一人は、自然言語で操作できるコントローラーを動かしています。前進、後退、さらには腕立て伏せまで、話しかけるだけで指示できたそうです。
AIが現実世界で直面する粗さも、記録に残っています。Team Claudeは自分たちのロボットとボールに、割り当てられた緑色を使っていました。ボールの検出アルゴリズムも、緑色のボールに絞って訓練しています。テストではうまく動きましたが、本番でボールを緑色の人工芝に置くと、検出が混乱しました。
目的をどの粒度で指定するかで、最適とは言えない選択をした可能性があるのは人間側です。ただ、Anthropicは同じ種類の難しさが、同様の立場に置かれたAIにも降りかかると述べています。
この結果はAI R&Dの自動化リスクとどうつながるか
Anthropicは、AIが次世代のAI開発を自律的に加速する能力を、別の線として監視しています。責任あるスケーリングポリシー(Responsible Scaling Policy)では、これは評価と対策が追いつかなくなりうる能力の閾値の一つです。投稿時点では、同社のモデルはまだこの水準に達していません。
そのうえでProject Fetchの結果は、未知のハードウェアを扱う能力が急に伸びうる領域として、ロボティクスなどを見張る理由になるとしています。Anthropicは「AIの底上げは、しばしば自律の前に来る」と見ており、ロボットを通じてAIが物理世界に働きかける未来も、突飛な話ではないとしています。ただし時期は不確かで、モデルの改善速度と、物理世界での試行が詰まりどころになる度合いの両方に左右されます。既存のハードウェアを動かすことと、新しいハードウェアを設計・製作・改良することは別の話だともしています。
この実験には、限界もあります。サンプルは2チームで、期間は1日だけです。課題は学術的には面白くても、実用上は些細なものでした。参加者がAnthropic社員という便宜的な標本である点も、結果に影響します。AIに不慣れな人たちなら、Claudeありとなしの差は小さくなっていた可能性が高いとしています。AI初心者はAIに慣れるまで時間がかかり、AIなしの初心者はClaudeを取り上げられた研究者ほど戸惑わないからです。
また、これはClaudeがロボティクス作業を最初から最後まで完遂できるかのテストではありません。人間とAIが組んだときの底上げを見る、初期段階の一歩です。
その後Frontier Red Teamは、Embodyという評価スイートも公開しました(Embodyの評価結果を読み解く記事)。Project Fetchは「人間+Claude」を測り、Embodyは「Claude単体でどこまで物理制御を任せられるか」を測るので、役割が分かれています。
ドローンを使った「Project Pilot」(Drone-Bench解説)も並べて読めます。エージェントの安全設計は「Trustworthy Agents in Practice」(解説記事)が扱っています。評価の対象が、モデル単体から人間やツールを含む運用へ広がっている流れが見えてきます。
まとめ
Project Fetchが示した差は、コードを書く速さより、未知のハードウェアに最初につなぐ段階に集中していました。ロボティクスやAIエージェントの動向を追う人にとっては、AIが先に伸びる局面を見極める材料になります。一方で、チームで使うときの役割分担や合意形成の支援は、まだAI側の課題として残っています。