AIの自己複製にデータセンターは不要か — 小型モデルとIoT機器の実験

AnthropicのFrontier Red Teamが2026年10月12日、小型のAIモデルがデータセンターなしで自己複製できるようになりつつあるとする研究を公開しました。著者はWilliam ZhouとDaniel Freemanです。舞台は、スマートオーブンや無名ブランドのAndroid TVボックスといった市販のIoT機器です。

結論は、小型モデルが商用IoT機器上で自己複製できる水準に届くまで「数か月」だという見立てです。広がり始めれば中央の停止点がないので止めにくい一方、速度は遅く、倍加時間は日単位とされます。ただし実験は単純化した環境で行われており、完成した複製体が見つかったという報告ではありません。

要点

• 9Bのモデルは、試した9種類のハードウェアのうち8種類で推論サーバーを立ち上げました。
• 30B以下のモデルは複製の個々の手順の多くをすでにこなせます。ただし手順をつなげて最後まで走ると、ミスが出ます。
• 単純化した8ノードの評価で、複製を最後まで完走したのはオープンウェイトの検証モデルのうちGLM-5.2だけでした。
• 約55ドルのTVボックス15台でGemma4-26B-A4Bを動かすと、速度は毎秒0.39トークンでした。複製は遅く、倍加時間は日単位と見積もられています。
• 小型モデルが歴史的な速度で向上すれば、GLM-5.2の水準には2026年末までに届くというのが報告の推定です。

報告の枠組みでは、複製に必要な能力の床と、機器に載るサイズの天井が、いまはまだ重なっていません。論点は、その隔たりが縮んでいることです。

脅威モデルはどう切り分けられたか

報告が扱うのは、自律的な複製と適応(ARA)のうち、モデルが宿主機器を乗っ取って自分の重みごと広がるタイプです。重みがマルウェアのペイロードの一部になるため、報告は「重みベースの複製体」と呼びます。

報告は、現実味のある脅威を次の3つに分けています。

実際の攻撃は、複数のモデルとハードウェアと戦略が混ざった群れになりやすいとされています。

IoT機器が最初の標的になりうる理由は、インターネットに接続されていて防御が薄い点です。モデルが1台に収まらなければ、断片(シャード)に分けて複数の機器で動かせます。小型モデルの断片を担えるのは、スマート冷蔵庫、スマートオーブン、ロボット掃除機、芝刈り機といった機器です。

もう一つの観察があります。小型モデルはエージェント的なコーディングやハッキングには比較的強い一方、ソーシャルエンジニアリングは苦手です。付録Eでは、MetaのCyberSecEval 3のスピアフィッシング評価を再現しました。人間の採点基準に合わせて補正すると、小型モデルは「非常に悪い」から「悪い」に収まります。

小型モデルは未知のハードで推論を立ち上げられるか

複製の鎖は次の4段階です。

手順

複製の鎖

1. 1

   標的探し

2. 2

   実行権の獲得

3. 3

   推論の立ち上げ

4. 4

   新しい宿主からの再伝播

前の2段階はサイバー攻撃そのものにあたります。著者らは、小型モデルでもできることがCyberGymやExploitBenchなどの先行研究で示されているとして、ここを深追いしていません。測ったのは3段階目、つまり見知らぬ機器で推論環境を整える部分です。

この段階は手順が長く、互いに依存しています。互換性のある推論スタックを選び、パッケージのバージョンを合わせ、機器固有の不具合を直す作業で、失敗からの復帰も難しい。

9種類中8種類のハードで動いた

評価では、各オープンウェイトモデルにLlama3.1-8Bを多様なハードで動かさせ、その毎秒トークン数を比べました。結果として、9Bのモデルは試した9種類のうち8種類で推論サーバーを立ち上げました。Qwen3.5-9Bは、Jetson Nanoの組み込み機からMacのPC、RTX 4090までの機器で成功しています。GLM-5.2のような強いモデルは、成功が安定するだけでなく、立ち上げた先の推論速度も上がりました。

試したチップが危険の源だという意味ではない、と断られています。測っているのは、モデルが機器ごとの違いを自力で乗り越える力です。

実験には、著者らが作った実行基盤「Memento」を使いました。オープンソースのPiコーディングエージェントの上に作られています。長い作業の中でエージェントが誤った仮説に固執し、何時間も戻らない失敗を減らすための仕組みです。一定時間ごとに新しいエージェントを起こし、前任者の作業環境と短いメモを引き継ぎます。1回あたり1.5時間、合計6時間の制限で動かしています。

TVボックス15台で26Bモデルが動く

IoT機器はメモリが小さく、一般的なTVボックスのRAMは1〜4GBです。4GBを前提に4ビット量子化すると、9Bのモデルは4台以上、26Bのモデルは10台以上で動かせる計算になります。

購入したTVボックスをネットワークでつなぎ、Gemma4-26B-A4Bをパイプライン並列で動かしました。各ボックスはモデルの層を少しずつ受け持ちます。

数字

TVボックスのフリートで測った値

• 台数

  15台

  1台約55ドル

• 生成速度

  0.39 tok/s

  デモ時の値

• 1台のRAM

  4GB

  26Bには10台以上

パイプライン並列を選んだのは、障害に強いからです。テンソル並列やエキスパート並列では1台が落ちるとモデル全体が止まります。パイプライン並列なら、落ちた機器を交換し、前段のノードにKVキャッシュを再計算させて復帰できます。

8ノードの実験で自己複製は最後までつながるか

次の問いは、標的探しから再伝播までを1回の実行でつなげられるか、です。

構成は、GCP上のファイアウォール付きVPCに8ノードを置き、Android 15のエミュレータ「redroid」を動かしたものです。最初の1台にだけ複製体を仕込み、認証のないADBポート経由で次のノードへ移ります。移った先でLlama3.1-8Bの推論サーバーを立ち上げ、正しさと不正行為の検査に通ったら、その上に複製体が生まれます。

複製体の頭脳になるモデルは、VPCのノードでは動かせないので別の推論サーバーに置きました。自分自身ではなくLlama3.1-8Bを立ち上げさせたのは、モデルの大きさによる難しさの差を除いて比べるためです。

結果はこうでした。

• 完走したのは、検証したオープンウェイトモデルのうちGLM-5.2だけでした。
• GLM-5.2は5回の試行のうち4回で8ノード全部に、1回で7ノードに広がりました。
• ほかのモデルは安定して失敗しています。

ここには3つの割り引きが付きます。1つ目に、ADBポートに認証がないので、サイバーの部分は意図的に易しくしてあります。報告は、これを実環境の成功率の上限と位置づけています。ただしMiraiのような過去のボットネットは、メーカー初期設定のユーザー名とパスワードを試すだけで広がっており、実際のIoTの突破が劇的に難しいとは限らない、とも書いています。2つ目に、GLM-5.2の能力が8Bに収まる前提の推定です。3つ目に、新しい小型モデルは構造やカーネルが複雑になっている可能性があります。

同じFrontier Red Teamは9月に、後継のGLM-5.3のサイバー能力も分析しました。悪用を防ぐ安全策の迂回率は64〜100%と報告されています。

推論の立ち上げとサイバーを除いた「残りの作業」の難しさも調べられました。事前に書いたスクリプトで推論を立ち上げ、17ノード(8台ずつの2区画を1台の中継ノードがつなぐ構成)で試したところ、3Bのモデルでも約半数のノードまで届いています。小型モデルでも、コマンドラインでの地道な作業そのものには耐えるということです。

能力の床とサイズの天井は、いつ交わるか

複製に必要な能力の下限(床)と、機器に載るサイズの上限(天井)は、別の話として扱われます。単純化した評価でGLM-5.2は床を越えています。Qwen3.5-9BとGemma4-26B-A4Bは、4GBのTV機器の天井を下回っています。いまのところ、2つは重なっていません。

重なる時期は、30B以下のオープンウェイトモデルを公開日とEpoch Capabilities Index(ECI)でプロットした直線から推定されました。最良モデルの当てはめで年あたり13.7ポイント、決定係数R²は0.95です。この傾きなら、GLM-5.2の水準の小型モデルは2026年末に出ます。ECIは汎用の能力指標で、複製能力の代理にすぎません。大まかな目安として読む必要があります。

実際には、どれだけ遅く広がるか

TVボックス上の推論は、対話型のチャットやコーディング用ツールよりはるかに遅くなります。実機の速度を基準にして、広がる速さを見積もりました。

コンテキストウィンドウ1つ分(32kトークン)が埋まると、圧縮が入ります。推論の立ち上げ1回の軌跡は、約2.6〜4.7ウィンドウ分です。

Gemma4-26B-A4Bの32kコンテキスト全体の平均速度は、プリフィルとデコードを合わせて毎秒約0.3トークンです。ウィンドウ1つ分の内訳は、生成トークンが12〜15%、残りが指示やツール呼び出しのプリフィルです。プリフィルはパイプラインの空きの関係で、約15倍速く処理されます。

規模の例も示されています。Kimwolfボットネット(Synthientの報告でピーク時に200万台超、主にAndroid TVボックス)と同じ規模の群れで、15台ずつGemma4-26B-A4Bを動かすと、複製体は約13万3千個です。各グループが2つのエージェントを毎秒約0.3トークンで動かすため、群れ全体で毎秒約8万トークンになります。H100は高い同時実行と投機的デコーディングで、このモデルを毎秒約1.95kトークン出せます。群れの総量はH100約40枚分で、絶対量としては小さいものです。9Bの複製1回は1〜2日を超えます。

報告はこの姿を、日単位で増えるスライムカビやショウジョウバエの群れにたとえています。

引き継ぎメモと助言役は、複製体の力を押し上げるか

「適応」の側面でも、2つの実験が行われました。

1つ目は、親から子へのメモの引き継ぎです。Qwen3.5-9Bの各インスタンスが、試した戦略と失敗を短くメモし、次の世代がそれを読んで同じ立ち上げ作業をやり直しました。20系統を6世代にわたって追うと、立ち上げの成功率は、第1世代の45%から、後の世代では61〜84%に上がっています。報告はこれをラマルク的な進化になぞらえ、プロンプトやコード、メモが子孫に渡る仕組みだと説明します。

2つ目は、強いモデルへの相談です。Qwen3.5-9Bに助言役としてOpus 4.8を使わせました。道具として呼べる設定では、小型モデルが正しい質問の仕方を知らない傾向が見られました。行き詰まったときに自動で助言が届く設定でも、成功率は改善しませんでした。ソフトウェア工学のタスクで助言の使い方を強化学習させた群でも、立ち上げ作業では改善しませんでした。

この結果から報告は、協調が起きるとすれば大型モデルが全体の戦略を担い、小型モデルをサブエージェントとして立てる形のほうが現実的だと考えています。

従来のボットネットと何が違うか

Kimwolfのような従来型のボットネットは、特定の種類の機器(AndroidのTVや携帯端末)に狙いを絞って書かれています。AIのボットネットはハードやソフトの種類に縛られません。小型モデルがJetson NanoからMacまで推論を立ち上げられたことが、その根拠として挙げられています。

AIのボットネットはIoT以外にも広がり、重みベースの複製を戦略の一つとして使うだろうと予想されています。防御側に知的に対抗する能力もあり得ますが、これは検証されていません。

付録Dは、エッジ向けアクセラレータ(GPU搭載の組み込み機)を持つ機器の数を粗く見積もっています。計算能力はH100換算で9,000〜35,000枚分と推計されますが、外から届く量はその10分の1以下(1桁以上少ない)とみられます。NVIDIAチップ搭載のIoT製品は約90製品ライン、出荷台数は約950万台です。大半はクラウド管理用の外向きトンネル経由でつながっていて、ウェブから直接は届きません。標準的なIoTボットネットのような大量侵害の前例もなく、乗っ取りはより難しいと見られます。

重みベースの複製体には、特権昇格が不要という特徴もあります。推論エンジンはユーザー空間だけで動き、再起動で止まっても、防御の薄い機器なら再感染できます。暗号資産マイナーやP2PinfectやFritzfrogといった既存のボットネットも、特権昇格なしで動けます。

防御側に残されている手

感染症の対策と同じ発想で、基本再生産数R₀(感染機器1台が新たに感染させる台数)を1未満に下げ、複製体を自然消滅させることを目標にします。

防御側に有利な点が3つ挙がっています。

• 通信の痕跡が大きい: 数ギガバイトのモデルが運ばれ、機器どうしの持続的な通信が生まれます。ISPのフロー監視で異常として見えます。
• 速さと隠密性の取引になる: 速く広げるほど、スキャンや外向き接続が増えます。
• ハニーポットで実物が採れる: 発見後はおとり機器から、ハーネスとペイロードを集めて挙動を調べられます。

隔離の効果は、Miraiの駆除の実績が根拠です。ISPが外部で得た感染の証拠をもとに、利用者を隔離して通知したところ、14日以内に感染の92%が消えました。通知なしでは74%です。隔離では、利用者のネットワークから到達できるサイトを短い許可リストに絞り、ブラウザをクリーンアップの案内に飛ばしています。

完全な根絶には、感染ネットワークを持つすべてのISPの連携が必要で、難しいことは報告も認めています。メーカー側では、初期パスワードの禁止が出発点です。英国の市場ではすでに、初期パスワードを持つ製品は適合しません。

重要インフラとOSSを守る防御側の取り組みとしては、Anthropic Cyber Missionが発表されています。

注目点は攻撃の巧さより、モデルの小ささにある

この報告の核は、攻撃が上手くなったという話ではありません。複製に必要な能力が、4GBの機器に載るサイズへ降りてくるかどうかです。

サイバーの部分は、先行研究に任せて簡略化されています。「実環境には認証があるから、実験は楽観的すぎる」という反論は成り立ちます。しかしこの設計は、成功率の上限を測るための割り切りです。上限が低ければ安心材料になります。完走したモデルが出た以上、問われているのは上限の高さではなく、実験が示した水準に小型モデルが届く時期です。

一方で「2026年末」という時期は、ECIの1本の直線に乗った推定です。ECIは複製能力の代理にすぎないため、幅は大きいでしょう。報告自身が大まかな推定と断っている以上、時期を日付として受け取るのは避けたいところです。

もう一点、強調に値するのは「実験で再現された範囲」と「報告者の予想」を著者が分けて書いていることです。完全な暴走複製体はまだなく、個々の手順をこなせる段階だと、著者は結びで述べています。

まとめ

• 小型モデルは、複製の鎖のうち、未知のハードで推論を立ち上げる難所を越えつつあります。9Bで9種類中8種類です。
• 単純化した8ノードの実験では、GLM-5.2が複製を完走しました。実環境の難しさと、重みを小型モデルに収められるかどうかという前提が、割り引き要素として残ります。
• 広がり方は遅く、倍加時間は日単位の見積もりです。そのぶんISPの通信監視、隔離と通知、メーカーの初期パスワード禁止といった既存の手が効く余地があります。
• IoT機器のメーカーやISP、セキュリティ担当者にとっては、通信の異常検知と初期設定の見直しが、AIの有無にかかわらず出発点になります。