ロボティクス評価Embodyの見どころ — Claudeが四足Go2とヒューマノイドG1で示した到達点

Anthropicは2026年7月9日、Frontier Red Teamのリサーチ投稿として「How Claude Performs on Robotics Tasks(邦題は本記事側で「Claudeはロボティクスでどこまで戦えるか」と意訳)」を公開しました。著者はShmuel Berman、Michael Ilie、Jia Deng、Daniel Freemanの4氏で、言語モデルの強みが物理世界の制御にどこまで転移するかを、複数のロボット身体と複数の制御インタフェースで測った実験報告です。評価スイート名はEmbodyと呼ばれています。

このリサーチは、四足ロボット犬Unitree Go2を用いた過去のプロジェクトであるProject Fetchから地続きの延長線に位置付けられます。Anthropicは以前から、フロンティアモデルの物理世界への影響力を切り分けて測るための取り組みを続けており、今回はその評価スイートを本格的に整えた最初の全面公開にあたります。同じくエージェント安全性を実装面から扱ったTrustworthy Agents in Practiceや、Claudeにビジネス判断を任せた長期実験Project Vend 2と読み合わせると、Anthropicが「モデル単体の能力」ではなく「モデル+ツール+アクセス権」の全体で安全性を設計しようとしている姿勢がはっきり見えてきます。

要点 — 4つの制御インタフェースで見えたこと

Embodyでの主要な発見を、読者が判断に使える粒度で押さえます。

1. モデルの得点は身体と制御インタフェースで大きく変わる — 同じモデルでも、モータートルクを直接指定するか、Python製コントローラを書かせるか、事前学習ポリシーを上位から監督させるか、強化学習でポリシーを訓練させるかで、見え方が弱くも強くもなります。ヒューマノイドのような制御が難しい身体では、事前学習ポリシーが下位の物理を担う高抽象インタフェースでしか進捗が出ません。
2. 世代交代で伸びるが伸び方はまばら — もっとも一貫して伸びるのは高抽象インタフェースです。低レベル直接制御も伸びていますが、モデルによって伸びる版と伸びない版が混在します。
3. 移動系(locomotion)では部分的だが意味のある全身制御が可能に — 新しめのモデルは四足の起立・バランス・歩行で進歩し、ヒューマノイドのバランスにも測れる範囲での改善が出ました。事前学習ポリシーと知覚ツールがあれば、簡単な環境の走行までは通せます。ただし空間記憶や自己定位、長い開ループ計画は依然苦手です。
4. 低レベル操作(manipulation)は「触れて掴む」までは進むが完遂は稀 — 新モデルは対象へ手を伸ばし接触し掴むところまで改善しています。ただしLIBERO一連タスクをエンドツーエンドで完遂できる確率は0〜5.5%にとどまります。
5. VLAの上位監督では、監督が上手いモデルほどペナルティが小さい — 事前学習済みのVision-Language-Action(VLA、カメラ画像と指示から直接アーム動作を出すポリシー)に上位から指示を渡す構成では、あらゆるモデルで成功率が跳ね上がります。強いモデルほど、VLAが提案する動作を鵜呑みにせず、失敗しそうな提案を却下できます。一方で最強格のClaude Mythos PreviewはVLAを上書きしすぎて、Opus 4.5やOpus 4.6よりVLA単独に対する目減りが大きい局面もありました。

全体メッセージは、「フロンティアモデルは低レベル直接制御ではまだ弱いが、道具(ツール・ポリシー・センサー加工)の与え方一つで物理世界への影響力が桁で変わる」というものです。Anthropicはこの事実を「安全評価は制御インタフェースを核として設計しなおすべき」という含意にまで伸ばしています。

評価の設計 — Embodyの4×3スイート

Embodyは「4つの制御インタフェース × 3つの課題領域」の直交軸で構成されています。整理のため、まず軸を分解します。

4つの制御インタフェース

3つの課題領域

シミュレーションはMuJoCoで実行され、直接制御では「LLM呼び出し中に物理シミュレータを一時停止する」設計を採用しています。実時間で回すと現行の非推論モデルの推論速度(約0.2〜0.4Hz)は制御に必要な83Hzに2桁足りず、比較の目的である能力の上限を測るために遅延を切り離しています。

TwinFlipper — 訓練データ汚染を避けるための新タスク

古典的なRLベンチマークは学習コーパスに大量に登場するため、モデルが「解法を思い出しただけ」の可能性を排除しにくいという問題があります。そこで研究チームは、ピンボールのフリッパー操作を模した新タスクTwinFlipperを設計しました。目標はボールを指定高さより上に長く滞空させることで、乱暴に打ち上げるより、上下に丁寧に跳ね返し続けるほうが得点が伸びます。少自由度でありながら混沌としたダイナミクスを持ち、どのモデルも事前に見たことはない、という位置付けです。

直接制御では失敗が多いが、傾向は改善している

低レベルの直接制御は、モデルにとって最も苦しい領域でした。

四足Go2とヒューマノイドG1の起立・バランス

Go2の起立とバランスは、Opus 4.6、Opus 4.7、Claude Mythos Previewがプログラム制御でGo2を2秒近く立たせるところまで到達しました。Gemini 3.1やGPT-5.4も同等のPython製コントローラは書けるものの、モーターを直接叩く直接制御では大きく遅れました。Opus 4.6は直接制御下でもバランスは維持できるが、起立までは通せないというプロファイルです。

一方、ヒューマノイドG1は本研究で最難関の身体でした。倒れた姿勢から立ち上げられたモデルは一つもありません。ただし、すでに立った姿勢からのバランス維持については、Opus 4からOpus 4.7にかけて測れる範囲で進歩が出ています。

低レベル操作(LIBERO直接制御)

LIBERO直接制御下でエンドツーエンドに全タスクを解ける割合は、最良のClaude Mythos Previewでも5.5%、多くのモデルは0%でした。ただし途中経路(対象を認識する→手を伸ばす→接触する→掴む)を細分化すると、Opus 4.6はOpus 4やOpus 4.1に比べて明確に前進し、Mythos Previewは触った・掴んだ回数はOpus 4.6より少なくとも、完遂率は上でした。後者はミスと修正の回数が少なく、動作全体の設計が良かったと解釈されています。

ツールで橋渡しできる領域と、できない領域

抽象度を上げると、多くのモデルは実用ラインへ近づきます。

高抽象航法 — 11タスクの合成スコア

事前学習済みのジョイスティックポリシーに前進・横移動・回頭の速度指令を渡し、モデルは正面カメラ画像を受け取りながら11タスクを解きます。タスクは以下のように分布しています。

合成スコアで見ると、Claude Opus 4.1からOpus 4.5、そしてOpus 4.7からMythos Previewへの2回の跳躍が顕著で、Opus 4.5〜4.7はやや踊り場に見えます。ただしこれは平均のトリックで、タスクごとに見るとOpus 4.7はturn_correctionで+24点、return_homeで+11点を伸ばした一方、invisible_walls(見えない壁の再計画)で大きく落としています。ここは「閉ループの自己補正が上手くなる代わりに、遮蔽下の再計画が弱くなる」という失敗モードの入れ替わりと読めます。

知覚補助 — コンパスがクロスヘアや深度マップより効く

研究チームは、正面カメラに緑色の中心クロスヘアを描く、半透明の深度ヒートマップを重ねる、第三者視点のカメラに差し替える、方位を度数で示すコンパスを渡す、の4種の視覚補助を試しました。結果として、単純なコンパスが他をはっきり上回りました。デプスマップやクロスヘアは中立か軽くマイナス、第三者視点はOpus 4.7とMythos Previewには効きました。「自分がどちらを向いているかを言語で渡す」ほうが、視覚的に強調するより情報として通しやすい、という素直な示唆です。

高抽象操作 — VLAとの分業とその落とし穴

高抽象操作では、MolmoActというVLAをLLMが上位から監督する構成で40タスクのLIBERO派生ベンチマークを走らせました。VLAの提案を受け入れる/修正する/丸ごと差し替える、の3択をモデルが判断します。この構成はどのモデルでも直接制御を大きく上回りましたが、全モデルがVLA単独より低い成功率にとどまりました。監督のペナルティです。

面白いのは、このペナルティが必ずしも「弱いモデルほど大きい」わけではなかった点です。Mythos PreviewはOpus 4.5やOpus 4.6よりVLA単独からの目減りが大きく、原因は「VLAの提案を却下する頻度が高すぎる」ことにありました。研究チームは、LLM側がVLAの動作を丸ごとそのまま渡した割合(passalongレート)を計測し、Mythos Previewは既知のLIBERO-40タスクで4割前後、新規タスクでも似た水準に留まっていることを示しています。逆に古いモデルは「VLAに委ねる」ことができず、監督の存在自体が価値を毀損していた、というわけです。

何が能力を制約しているのか — 視覚とメモリ

Frontier Red Teamは、能力ではなくボトルネックの側から現状を切り出しています。

視覚言語モデル(VLM)としての読み取り力

同じ画像を、テスト対象のモデルではなく、別のVLM(本研究ではGemini 3.1)にテキスト説明として書き起こさせ、モデルにはその説明文だけを渡す実験を挟んでいます。もし対象モデルが画像を有効に使えていれば、この置き換えでスコアは下がるはずです。

結果は世代で割れました。古いClaudeは画像を渡すよりもテキスト説明を渡したほうが良かったのに対し、Opus 4.6とOpus 4.7、Gemini 3.1はテキスト説明を渡すと逆に落ちました。新しめの世代は、生の画像から空間情報を取り出す力が実際に伸びていて、言語に圧縮すると情報が抜け落ちる、という状態です。

実機Go2で観察された失敗

Anthropicは実機のUnitree Go2でも同種のタスクを試しています。数は少ないながら、以下のような具体的な失敗が観察されました。

• クロスヘアが視野判断を歪めた例 — 廊下を歩かせている途中、Go2の直前にあったゴミ箱をモデルは認識しつつも「クロスヘアの左側にあるから通行に問題ない」と判断し、そのまま突っ込んで足を絡めて数メートル引きずってから停止させられました。中心指標に引きずられて、正面直下の障害物判断を落とすパターンです。
• 反射像を実物と誤認した例 — find_xの実機再現で、Grok 4.1 Fastはガラス扉に映ったターゲットの反射をターゲット本体と勘違いし、ガラス扉へ突進しかけました(手前で停止させられ物損はなし)。
• オフィス廊下1周が全モデル失敗 — 前方カメラだけを頼りにオフィス通路を1周する非公式ベンチでは、試したすべてのモデル・すべての補助構成で失敗しました。多くは「曲がるべき交差点で曲がれない」「曲がったと思い込んで直進する」「曲がっても曲がりすぎ・曲がり不足で混乱する」といった、視覚と自己位置推定のどちらかの取りこぼしに帰着しています。

追加推論(reasoning)はあまり効かない

追加の思考トークン予算(reasoning budget)は多くの結果に大きな差を作りませんでした。古典制御では、新しめのモデルはむしろ多めのreasoningで回帰しました。単純な実験を過剰に設計してしまうのが原因、と研究チームは推測しています。GPT-5.4は移動タスクで追加推論の恩恵を受けましたが、他モデルではreasoningがむしろ機敏な反応を邪魔している可能性が示唆されました。高抽象航法でも、Opus 4.6は無推論・20k・adaptive-maxの間で2.6点の帯に収まる程度で、Mythos Previewだけが40.2〜54.1点と14点近い幅で伸びました。

独自視点 — 「アクセスレベルは能力の一部」という発想への転換

Embodyの結果を読み返すと、Anthropicがこの数年繰り返してきた主張の一つが、ロボティクスという分野で最も明快な形で立ち上がるのがわかります。それは「アクセスレベルは能力の一部」という発想です。

同じClaude Opus 4.6でも、モータートルクを直接叩かせるとほぼ何もできない一方、事前学習ポリシーの上位監督に回すと簡単な迷路ならこなせるようになります。ヒューマノイドG1は倒れた姿勢からは立てないのに、上位ポリシーとカメラを与えると別のクラスの体験が始まります。安全性の観点から見ると、これは評価の設計を根本から変える示唆です。

同じ発想は、コード実行環境の権限設計を扱ったClaude Codeのサンドボックス設計や、エージェント安全性の5原則を実装に落とす議論にも通底しています。モデルの重みを固定したまま、渡すツールを差し替えるだけで物理的影響の桁が変わる以上、「モデルの能力X」を単独の指標として測る従来の評価は、ロボティクスにおいてはほとんど意味を持ちません。実装で見るなら、AnthropicのManaged Agentsの設計思想が言うように「エージェントの環境と足場」を設計対象にする発想が、ここでも共通の骨格になっています。

さらに研究チームは、この事実を建設的な方向にも接続しています。Mythos Previewの得点構造は、VLAとの上下関係を上手く扱うと、単独のLLMやVLAが単独でできることを合成した以上の到達点に届くことを示しました。VLAが解けない類のタスクでは、強いLLM監督が実際に純プラスの寄与を出しています。つまり、「モデル×ツール」の掛け算を評価軸に据え直すと、能力と危険の見取り図が同時に描き直せる、という含意です。

数値・タスクごとの位置付け早見表

数値は本文および原論文の記載に基づき、記事側の読み解きとして表にまとめたものです。原表記との整合が必要な項目は本文中の該当節で併記しています。

検証に使われたモデル群と実装の要点

原論文Appendixから、比較対象になったモデルは次の12種です。

Claude系はAnthropic Agent SDK経由で走らせ、SDKの組み込みツールを無効化して評価対象のロボット・アクションサーバーのみを露出させる設計にしています。新しいClaude系はAnthropicのアダプティブreasoning設定を使い、古いClaude系は固定reasoning予算です。他社モデルはOpenRouter経由の関係で、真の「no reasoning」がない一部モデルは近い設定で代用しています。

まとめ — 誰がこの結果をどう受け取ればよいか

• エージェント安全性の設計者にとって — アクセスレベル(制御インタフェース・ツール・センサー加工)は評価の主軸です。同じモデルでも与えるツール次第で物理的影響の桁が変わるため、モデル単体の能力測定だけでは安全境界を語れません。制限したい範囲を「モデルの外側」で切ることが引き続き有効という示唆です。
• ロボティクス基盤の実装者にとって — 事前学習ポリシーやVLAとLLM上位監督の分業は、単独では届かない到達点まで押し上げる可能性がある一方で、監督が過剰だとVLA単独に劣るという副作用も同居しています。LLMがVLAの提案をどれだけ通すか(passalongレート)を計測に含めるのが有用な設計になりそうです。
• 研究者・評価者にとって — TwinFlipperのように「事前学習で見ていないタスク」を混ぜる設計や、テキスト説明への置換で視覚利用度合いを切り分ける実験は、他分野のフロンティア評価にも移植できる型です。
• 一般読者にとって — 現段階のフロンティアモデルは、追加訓練なしでも四足を迷路の中をゆっくり歩かせたり、皿を台に乗せたりすることが「良い日には」できるようになりました。ただしそれは「毎回できる」水準ではなく、世代ごとに信頼性の差が縮まりつつある、という理解が近いです。過大評価も過小評価もせず、「モデル×身体×ツール」の組で見る目線が、この分野で最も長持ちする視座になりそうです。