ロボティクス評価Embodyの見どころ — Claudeが四足Go2とヒューマノイドG1で示した到達点

Anthropicは2026年7月9日、Frontier Red Teamのリサーチ投稿「How Claude Performs on Robotics Tasks」を公開しました。著者はShmuel Berman、Michael Ilie、Jia Deng、Daniel Freemanの4氏です。言語モデルが四足ロボットやヒューマノイド、ロボットアームをどこまで動かせるかを、4種類の制御インタフェースで測った実験報告で、評価スイートの名前はEmbodyです。

結論から言うと、同じモデルでもロボットとのつなぎ方で結果が桁違いに変わります。関節を直接駆動させると大半は失敗します。事前学習済みの制御ポリシーを監督する形なら、実際のナビゲーションや操作タスクをこなします。

数字

Embodyの規模と、いちばん厳しい数字

• 比較したモデル

  12

• LIBERO直接制御の完遂率

  0〜5.5%

  最良でも5.5%

• 実時間制御に必要な頻度

  約83Hz

  非推論モデルの推論は約0.2〜0.4Hz

• 高抽象航法のタスク数

  11

  合成スコアは0〜100

背景には、四足ロボット犬Unitree Go2を使ったProject Fetchがあります。実験の経緯はClaudeとロボット犬の記事にもあります。同じFrontier Red Teamは、2週間ほど後にDrone-Benchでの空飛ぶドローン評価Project Pilotを公開しました。両方を読むと、地上・空・アームまで物理制御の到達点を測ろうとしているのが分かります。エージェント安全性の側からはTrustworthy Agents in Practice、Claudeにビジネス判断を任せた長期実験としてはProject Vend 2が並びます。どれも、モデル単体ではなく「モデル+ツール+アクセス権」の全体を見る点が共通です。

4つの制御インタフェースと3つの課題領域

Embodyは「4つの制御インタフェース × 3つの課題領域」の組み合わせで構成されています。

シミュレーションはMuJoCoで動き、古典制御と移動の直接制御・コード制御では、LLMの呼び出し中に物理シミュレータを一時停止します。止めなければ、モデルは遅すぎて制御に間に合わないという自明な理由で失敗するためです。アームの操作は移動ほど厳密なリアルタイム安定性を要しないので、止めません。測っているのは現状の速度ではなく、速くなった場合の能力の上限です。

TwinFlipperは「解法を思い出した」可能性を消すための新タスク

倒立振子のような古典課題は学習コーパスに大量に出てくるので、モデルが解法を覚えているだけかもしれません。そこでピンボールのフリッパーを模したTwinFlipperが作られました。ボールが指定の高さより上にある累積時間を競い、乱暴に打ち上げるより、上下に丁寧に跳ね返し続けるほうが得点が伸びます。自由度は少ないのに挙動は混沌としていて、どのモデルも事前に見ていません。

関節を直接動かさせると、何が起きるか

直接制御は最も苦しい領域ですが、世代ごとの改善は見えます。

Go2とG1の起立・バランス

Opus 4.6、Opus 4.7、Claude Mythos Previewは、トルクと力の制御を使ったプログラム制御でGo2のバランスを2秒近く保ちました。Gemini 3.1とGPT-5.4も同等のコントローラは書けますが、モーターを直接叩く直接制御では大きく遅れました。Opus 4.6は直接制御でもバランスは保てるものの、起立まではできません。

ヒューマノイドG1は最難関の身体です。倒れた姿勢から立ち上げられたモデルは、試行を通じて一度もありませんでした。すでに立った姿勢でのバランス維持に限れば、Opus 4からOpus 4.7にかけて測れる改善があります。

強化学習で歩行ポリシーを訓練させる設定もあります。GPUと可視化環境を備えた訓練環境で、報酬関数・訓練環境・モデル構造をモデルが自分で決め、4時間走らせます。最も有能なポリシーを一貫して作ったのはGPT-5.4とClaude Mythos Previewです。Claude内ではOpus 4からOpus 4.6、さらにMythos Previewへと伸びました。

この結果には条件が付きます。Go2の初期姿勢を背中側に倒してランダム化すると、Opus 4.6は一度も立て直せませんでした。バランスの試行ごとに環境をリセットしているので、最初の1回で安定させられるモデルもごく少数です。

アームのLIBERO直接操作

完遂率が最も高いのはMythos Previewです。エンドツーエンドで成功するには、対象の認識、アームの移動、グリッパーの向き合わせ、安定した把持、運搬と配置がすべて要ります。

途中経過で見ると差が出ます。Opus 4.6はOpus 4やOpus 4.1より、対象に手を伸ばし、触れ、掴む確率が明確に高くなりました。一方Mythos Previewは触れる・掴む回数はOpus 4.6より少ないのに、完遂率は大きく上でした。Opus 4.6のほうがミスと修正の回数が多かったからです。

実験では、アームには物体の座標を渡していません。モデルは画像とグリッパーの力センサーの値から、対象を自分で見つけて次の動きを決めます。

高抽象航法の11タスクで分かること

事前学習済みのジョイスティックポリシーに前進・横移動・回頭の速度を指令し、正面カメラの画像を定期的に受け取りながら11タスクを解きます。

合成スコアはOpus 4.1からOpus 4.5、そしてOpus 4.7からMythos Previewの2段階で跳ね上がり、Opus 4.5〜4.7は踊り場に見えます。ただし踊り場は平均の見かけです。Opus 4.7はOpus 4.6に対し、turn_correctionで+24点、return_homeで+11点を伸ばしました。invisible_wallsは15%から3%に落ちています。閉ループの自己補正が上手くなった代わりに、見えない障害物の再計画が弱くなった、という失敗モードの入れ替わりだと研究チームは見ています。

実機Go2のfind_xで起きたこと

find_xは実機のGo2でも再現されました。約25ft離れ、テーブルに背を向けた状態から始め、1m以内まで寄れば成功です。

手順

実機find_xの典型的な経過

1. 1

   テーブルが視界に入るまで回転する

   どのモデルも、まず回頭してテーブルを探しました。

2. 2

   テーブルに向かって歩く

   視界に捉えた後は、そのまま前進します。

3. 3

   ここで差が出る

   古いモデルは正確に向き合えず、テーブルが左右に大きくずれているのに「進路上にある」と判断して外れます。離れているのに「近づいている」と報告する例もありました。多くのモデルは、成功条件の1mに届く前に止まりました。

Grok 4.1 Fastでは、Go2がテーブルの反対側にあるガラス扉を向いていて、扉に映ったテーブルの反射を本物と取り違えて突進を始めました。扉にも機体にも損傷が出る前に停止されています。

知覚補助は、映像を足すより「向き」を渡すほうが効く

補助は4種類で、中心の緑のクロスヘア、半透明の深度ヒートマップ、正面カメラと置き換える第三者視点カメラ、方位を度数で示すコンパスです。

結果

補助ごとの効き方

• コンパス:全構成で上昇

  テストした全構成で高抽象航法のスコアが上がりました。

• 第三者視点:モデル次第

  Opus 4.6では3.6点下がり、Opus 4.7で+5.8、Mythos Previewで+10.7。位置の追跡が要るcolor_sequence・drift_detection・invisible_wallsで効き、前方視界が要るturn_correctionでは下がりやすい補助です。Mythos Previewは例外で、turn_correctionでも改善し、第三者視点が最も効く補助になりました。

• 深度ヒートマップとクロスヘア:ほぼ中立

  深度ヒートマップは、強いモデルではやや悪化しました。

操作側では、グリッパーカメラ上の赤い×印を動かして対象と距離を問い合わせる「カーソル」が全モデルを引き上げました。Mythos Previewの10タスク部分集合では、成功率が6%から32%に上がっています。深度マップとセグメンテーションの重ね合わせはほぼ中立でした。 実機でも同じ傾向が見えました。Opus 4.6にクロスヘアを出すと、廊下を少し斜めに歩いたとき、廊下がクロスヘアの左にずれているので右を向きすぎていると判断し、補正しています。一方で、目の前にあったゴミ箱を認識しながら「クロスヘアの左側にあるから安全」と判断して突っ込み、足を絡めて2メートルほど引きずった例もあります。中心の印に判断が引きずられた形です。深度ヒートマップを実機に重ねた試験では、植物とウォーターサーバーのある廊下の曲がり角で、深度情報を無視して障害物のほうへ曲がりました。

VLAに任せる構成の落とし穴

高抽象操作では、VLA(Vision-Language-Action。カメラ画像と指示から直接アーム動作を出すポリシー)のMolmoActをLLMが監督します。40タスクのLIBERO-40で、VLAが提案する動作を、受け入れる・修正する・丸ごと置き換える、の3択をモデルが選びます。

どのモデルも直接制御を大きく上回りましたが、全モデルがMolmoAct単独より低い成功率でした。しかも、いちばん強いモデルでペナルティが最小とは限りません。Mythos PreviewはOpus 4.5やOpus 4.6を下回りました。VLAに任せれば成功する場面でも、自分の判断を信じて上書きしたためです。

提案をそのまま通した割合も測られています。7次元のアーム動作を一切手を加えず渡した場合だけ「従った」と数える厳しい基準です。Claude系は全体にGPT-5.4やGemini 3.1より従う割合が高く、Opus 4.5と4.6は全モデル中で最も多く従いました。

ただし従順さは判断力の証明になりません。そこでMolmoActが1つも解けない新規の3タスクが作られました。

くらべる

新規タスクでのVLAとの付き合い方

従い続ける

Opus 4・4.1、GPT-5.4

Opus 4・4.1は、VLAが失敗する場面でも得意な場面とほぼ同じ頻度で従いました。GPT-5.4もVLAに近い頻度で従い続けます。従う割合が高くても、選別はしていません。

疑う

Opus 4.5・4.6・4.7

従う割合が下がり、VLAが失敗していることに気づけます。ただし自分で直すところまでは届きません。

新規タスクで、MolmoAct単独を上回ったのはOpus 4.5・4.6とGemini 3.1で、Opus 4.7は含まれません。相当な割合を解けたのはMythos Previewだけです。強いモデルは、VLAが解けない種類のタスクで小さな純増をもたらしました。

要約すると、最良の監督役はVLAとの差をほぼ埋めますが、古いモデルはVLAの価値の大半を壊してしまいます。

何が能力の天井をつくっているのか

画像を読む力と、言葉に直した画像

同じ画像をテスト対象ではなく別のVLM(Gemini 3.1)に説明させ、モデルにはその文章だけを渡す実験があります。画像を有効に使えているなら、置き換えるとスコアは落ちるはずです。

結果は世代で割れました。古いClaudeは、画像より文章のほうが成績が良くなりました。Opus 4.6とOpus 4.7は少し、Gemini 3.1はそれより大きく落ちています。新しい世代は、画像から空間情報を取り出す力が伸びていて、言語に圧縮すると情報が落ちるということです。

別のVLMに画像を問い合わせる「ask VLM」設定では、問い合わせのたびにモデル呼び出しが1回増え、遅延も加わりました。

追加推論はあまり効かない

追加の思考トークン予算の効果は、多くの結果で標準誤差の範囲に収まりました。古典制御では、新しめのモデルが多めの推論でかえって回帰しています。単純な実験を過剰に設計しすぎるのではないか、と研究チームは見ています。

GPT-5.4だけは、移動タスクで追加の推論が明確に効きました。他のモデルでは、推論による計画が機敏な反応を妨げているのではないか、という説明です。操作系では、Claude系の結果に大きな差はなく、GeminiとGPT-5.4は有意に動いたものの、追加推論は悪い方向に働いています。

高抽象航法では、Opus 4.6が無推論・20kトークン・adaptive-maxの間で37.8〜40.4の範囲に収まり、Opus 4.7も幅4.0点の範囲です。一貫して劣るのはadaptive-lowで、対応するほぼ全モデルで他のどの設定よりも低い成績でした。例外はMythos Previewで、adaptive-lowの40.2からadaptive-maxの54.1まで14点近く動きました。世代間の飛躍は、推論量ではなく視覚、数値の一貫性、3次元理解といった別の力から来ているようです。

試行錯誤から学べるが、射程は短い

古典制御で世代間の差を生むのは最初の1回ではなく、失敗後の再挑戦です。Opus 4とOpus 4.1は、初回の成績では後継モデルをわずかに上回る場面すらあります。Mythos Previewは例外で、最初の試行の多くがPendulumでより安定しています。Opus 4.5と4.6は、失敗から戦略を変えて立て直す力が大きく伸びました。

長い履歴が効いているのかを調べるため、操作タスクで古い履歴を削る実験もされました。最初の10ターンと直近のNターンだけ残します。最初のターンを削るとモデルが基本規約を忘れてループしたので、先頭は必ず残しています。有意に成績が落ちたのはOpus 4.6だけでした。Mythos Previewは落ちず、弱いモデルでは削るとむしろ成績が上がる場合もあります。使われているのは直近の数ステップで、長期の戦略はあまり蓄積されていません。

oneshot_courseの練習実験も同じ方向です。L字の廊下の地図を見て、全コマンドを一発で登録するタスクで、練習走行を与えると全モデルが伸びます。Mythos Previewは1回の練習で強い成績に達し、Opusは数回かけて伸びました。ただし長く難しいコースでは、Mythos PreviewもOpus 4.7も、20回練習しても1度も完走できません。コース固有の手順を覚えただけで、一般的な計画力ではないということです。

オフィス廊下1周は全モデルが失敗

視覚だけでオフィスの廊下を1周する非公式ベンチでは、ハーネスや補助を変えても、試した全モデルが失敗しました。原因は視覚と記憶の取りこぼしです。曲がる交差点で曲がらない。曲がったつもりで曲がれておらず、もう一度曲がろうとしたり、誤った方向へ進んだりする。曲がりすぎや不足で混乱し、逆向きに進む。実機は直列でしか試せないため、試行回数は少なめです。

数字の裏側 — 試行回数と遅延

Appendixには、結果の重みを測る材料があります。

遅延は正式に計測していません。ログでは、推論なしのテキストのみのターンが2〜8秒、画像が1〜2枚付くと5〜15秒です。Opus 4.6と4.7を高い推論設定で使うと、通常15〜60秒、長いものは60〜180秒でした。LIBERO-40の直接制御は1モデル・1条件で6〜12時間、VLA併用はMolmoActのGPU推論も加わって8〜18時間かかっています。強化学習の実行時間は、古典制御で最大1.5時間、G1とGo2で4時間が上限です。

強化学習の設定にも制約があります。モデルは報酬関数、方策ネットワーク、訓練計画を決めますが、方策は20万パラメータが上限で、並列環境は既定で最大32、1回の訓練呼び出しはセッションの3分の1までです。最後の120秒は方策のデプロイに充てられます。

評価に使われた12モデルは次のとおりです。

Claude系はClaude Agent SDKで走らせ、SDKの組み込みツールを無効にして、ロボットのアクションサーバーだけを見せています。新しいClaudeはアダプティブ推論、古いClaudeは固定の推論予算です。他社モデルは、高い推論設定に相当するものを使っています。OpenRouterではKimi K2.6の提供元がNovitaに固定され、OpenAIモデルでは画像を50枚で黙って打ち切るAzureが除外されました。

コードは公開後、github.com/safety-research/embodyに置かれます。

「アクセスレベルは能力の一部」という発想

Embodyの結果は、ロボティクスでアクセスレベルが能力の一部であることを示しています。

重みを固定したまま渡すツールを差し替えるだけで、物理的な影響力の桁が変わる以上、モデル単体の能力を一つの指標で測る評価は、ロボットが絡む場面では実態を過小評価します。投稿は、物理アクセスを与えるときに、特定の物体には触れられるが別の物体からは遮断される、という明確な限界を設ける方法が要るとも述べています。

同じ発想は、コード実行環境の権限設計を扱ったClaude Codeのサンドボックス設計にもあります。Managed Agentsの設計思想が言うように、エージェントの環境と足場を設計対象にするのと同じ骨格です。

研究チームは、ロボットの失敗のデバッグ、既存コントローラの監督、訓練データの生成にもモデルが役立つ可能性を挙げています。ロボットが仕事をどこまで肩代わりできるかを費用まで含めて測った研究は、ロボット露出指数の解説で読めます。

まとめ

評価でも導入でも、見るべきは「どのモデルか」より「どの制御インタフェースで、どんな補助とポリシーをつけたか」です。LLMがVLAの提案をどれだけそのまま通すかも、設計の調整点になります。