Claudeのレッドチームとは — Frontier Red Teamが脅威を追う理由
Claudeのレッドチームとは、危険な能力を専門家と評価するAnthropicの取り組みです。2023年の生物領域から、2026年のサイバー分析までの流れを解説します。
全326件を並べています(151〜180件目)。解説一覧のトップへ戻る
Claudeのレッドチームとは、危険な能力を専門家と評価するAnthropicの取り組みです。2023年の生物領域から、2026年のサイバー分析までの流れを解説します。
Claude APIのリクエストサイズ上限はMessages APIは128MB、Batchesは256MB、Filesは500MBと、エンドポイントごとに異なります。413の発生元の見分け方、Bedrockなど他経路の上限も扱います。
Anthropicが運用する3種類の脆弱性報告制度の違い。対象・報酬・窓口に加え、報告前に押さえる除外条件とセーフハーバーの条件を解説します。
Transparency Hubは、Model Report・System Trust and Reporting・Voluntary Commitmentsの3ページ構成です。内容別の窓口の選び方と数字の読み方を解説します。
AnthropicとBoston Consulting Groupが2023年9月に提携。Claude 2をBCGの企業顧客向けAI活用支援に組み込みました。
Opus 4とSonnet 4のサイバー攻撃能力をPattern Labsと検証した結果をまとめます。柔軟な戦略転換と多段階攻撃の実行力が伸びた一方、長時間の計画維持には限界が残ります。
AnthropicとPNNLが、ClaudeベースのエージェントALOHAで水処理プラントへの攻撃再現を3時間に短縮した実証実験を解説します。
2025年11月、Anthropicは中国の国家支援を受けたとみられるグループがClaude Codeを悪用した大規模スパイ活動を検知・阻止したと発表しました。攻撃の80〜90%はAIが自律実行していました。
医療機関がClaudeでPHIを扱うにはBAA締結が前提ですが、対象はEnterpriseとAPIのみでFree・Pro・Max・Teamは対象外です。有効化の手順と機能ごとの適用範囲をまとめます。
Claude APIのservice_tierパラメータはauto/standard_onlyの2値で、Priority Tierの容量を使うかを制御します。新規購入停止後の仕組みとキャッシュ・地域推論の消費レートを扱います。
Admin APIは組織メンバー・ワークスペース・APIキーを操作するAPIで、監査ログそのものは別のCompliance API Activity Feedが担います。両者の役割分担と内部統制での組み合わせ方をまとめます。
言語モデルは自分の答えが正しいか自己評価できるか。2022年のAnthropic論文が示した「P(True)」「P(IK)」という2つの手法とその限界を解説します。
AIと対話しながら難問を解いた人は、最良のモデルより約10ポイント、4人の多数決では人だけの場合より最大36ポイント高い正解率でした。52BのRLHF対話モデルを使ったsandwiching実験を解説します。
AIの攻撃指示を実際のコマンドに変換するツールキットIncalmoの仕組みと、専用ツール無しでも攻撃が成立し始めた最新の検証結果をまとめます。
Claude APIのITPM(入力トークン/分)制限は、キャッシュから読んだトークンを原則カウントしません。計算式とHaiku 3.5だけの例外を具体例で示します。
ClaudeはStanford発のプラットフォームBiomniと、MITのCheeseman lab・StanfordのLundberg Labで研究に使われています。解析・解釈・仮説生成の役割と、20分で終わった事例を紹介します。
AnthropicはClaude悪用アカウント832件をMITRE ATT&CKへ写像し、ARiESという加算式のリスクスコアで可視化するNavigatorを公開しました。
複雑な質問をChain-of-Thoughtで一気に解かせると、答えの理由が実際の判断根拠と食い違うことがあります。質問を分解して別の文脈で答えさせる手法が説明の忠実性を高める仕組みと、手放すものをAnthropicの論文の数値で見ます。
学習データのごく一部を繰り返すだけでモデル性能が半分規模相当まで落ちる条件をAnthropicが測定。二重降下とinduction headsへの損傷から仮説を読む。
Anthropicの解釈可能性研究は、アルゴリズムだけでなくデータ規模のエンジニアリングが律速の一つになっています。分散シャッフルと特徴可視化パイプラインという2つの実例を読み解きます。
再帰的自己改善とは、AIが自分の後継モデルを自力で開発できる状態のこと。Anthropicの社内実測(コード量8倍など)から、現在地と3つの未来シナリオを読み解く。
Claudeの拡張思考で読める思考ログは、実際の判断根拠と一致するとは限りません。Anthropicの実験が示した忠実性の数値と、現行モデルが返すのは要約であるという仕様、Claude Codeでの読み方を扱います。
Claudeを人間向けサイバー競技会7大会に参加させた結果を検証します。上位25%に入る大会もあれば0問正解の大会もあり、強さと弱さの境界が明確に見えます。
Claudeに恋愛相談や悩み相談をする人の実態をAnthropicの13万件超の会話分析から整理。相談・コンパニオンシップ目的は全体の2.9%、恋愛ロールプレイは0.1%未満でした。
2022年にAnthropicが公開したRLHF実装の原点論文。週次で選好モデルを更新する「iterated online training」の仕組みと、報酬とKL距離の関係を読む。
AnthropicはClaude Opus 4.6がFirefoxのWasm型混同バグからエクスプロイトを組み立てた実験を公開しました。同条件で他の5モデルは全て失敗しています。
Anthropic Fellowsが公開したDedicated Feature Crosscoderは、アーキテクチャの異なるAIモデル同士を比較し未知の挙動差分を検出する診断ツールです。仕組みと実験結果をまとめます。
Claude APIの対応国は、公式ドキュメントのリストで175、anthropic.comのリストで185と食い違います。日本は対応済みで、中国・ロシア・イランなどは含まれません。Claude Codeも同じ対応国リストの対象です。
Anthropicが公開したcrosscoderは、複数レイヤーや複数モデルをまたいで特徴を取り出す解釈手法です。損失の設計、学習コスト、Claude 3 Sonnetの前後比較までを読み解きます。
Constitutional AI(憲法AI)は、人間の有害性ラベルの代わりに原則リストとAIフィードバックで無害なAIアシスタントを学習させる手法で、Claudeの訓練にも使われています。SL-CAI/RL-CAIの仕組みを論文から読む。