claude-apiのbuild-evalとhillclimb — 過学習を避けるeval設計の原則と事例
claude-apiスキルのbuild-evalとhillclimbが前提にする評価設計の原則と、train/test分割で過学習を防ぐ手順を解説。コスト約5分の1と66%から約88%への事例も数字で読みます。
全714件を新しい順に並べています(181〜210件目)。カテゴリのトップへ戻る
claude-apiスキルのbuild-evalとhillclimbが前提にする評価設計の原則と、train/test分割で過学習を防ぐ手順を解説。コスト約5分の1と66%から約88%への事例も数字で読みます。
Claude Codeのeffortは思考の長さでなく、検証とエッジケース確認、自己判断の量を調整するつまみです。Terminal-Bench 3.0の数字から効く領域と効かない領域を読みます。
クラウドセッションはPCの外で動くClaude Codeの実行環境です。始め方の入口と、3タスクを並列に走らせた実験(87秒は小さなリポジトリでの値)を扱います。
Cyber Verification Programは3段階になりました。各段階の対象者と審査期間、Mythos 5.1が使えるまで、承認されない理由、CyScenarioBenchの結果を扱います。
Anthropicが1億ドルを投じ、2027年末までにFrontier Deployed Engineerを1万人育てるClaude Frontier Academyを開始。12週間のレジデンシーの流れと推薦制の参加条件を解説。
Claude APIキーはConsoleのSettings → API keysで作ります。キー種別・有効期限・ワークスペースの選び方と、環境変数への設定、最初のリクエストまでの手順です。
物理学者Schwartzが、Claudeを科学者として扱うのをやめ、得意な問題を探す方式に切り替えた。BootLoopsの成果と失敗パターンをまとめます。
Anthropic営業チームがClaude Managed Agentsで購入相談エージェントを作り、問い合わせ対応を作り直した事例です。構成、選定理由、数字の読み方を解説します。
Claude for Governmentが連邦・州機関向けに一般提供へ。FedRAMP High認可環境、席料なしの固定増分課金、SSO・SCIM・監査ログの管理機能を並べます。
AnthropicのEconomics研究が、ロボットが今できる仕事を指数化。物理作業の74%は可能だが、費用で人に勝てるのは全作業の0.3%。露出の高い職、50年分の検証、コストの壁を読み解きます。
AsanaのCPOが、社内でClaudeを使うAIチームメイトの運用を語りました。役割と権限の与え方、記憶を育てる人の分け方、作業を全員に見せる方法を追います。
AnthropicがAnthropic Interviewerによるインタビュー調査の参加者を募集。9月29日〜10月6日、Free・Pro・MaxのClaude・Claude Codeユーザーが対象で、公開は任意ですが実質取り消せません。
GLM-5.3のjailbreakは単純な手法で足ります。偽の設定で64%、思考のprefillで92%、拒否を外す改造で100%の関与を引き出せたとAnthropicが報告しました。
Managed Agentsはトークン課金とセッション稼働時間(1時間0.08ドル)の二軸で請求されます。課金対象の状態、適用される割増と適用されない割引、1時間セッションの試算をまとめました。
高性能なコーディネーターと安価なワーカーの組み合わせは、コスト面では2つの状況でしか得をしませんでした。advisorとの選び分けを実測値で確かめます。
Google CloudのVertex AIでClaude APIを呼ぶときの、globalとマルチリージョンとリージョナルの違い。10%の上乗せ、データルーティング、非対応機能を示します。
Anthropic公式のチケット振り分けガイドを、意図カテゴリの定義・評価関数・20超カテゴリ時の階層化に絞って読み解きます。閾値の置き方と階層ごとの測り方まで扱います。
Claudeの出力は利用者のものですが、Anthropicの書面許可なしに競合するAIモデルの学習へ使うことは規約で禁止されています。許可される特化型モデルの例と禁止の線引きを示します。
契約書など長文の法務文書をClaude APIで要約するパイプラインの作り方。抽出項目の決め方、PDFの前処理、評価指標、チャンク分割とメタ要約、条文の引用までを実装で示します。
Claude Enterprise Analytics APIのコネクタ・プラグイン・スキル・アーティファクト各エンドポイントを、group_byの効き方、コネクタ名の正規化、third-partyバケットまで整理する。
Claude CVP(Cyber Verification Program)は、セーフガードに止められる防御目的のサイバー業務を開く制度です。Verification Portalでの申請手順と経路別の違い、承認後の割り当てを示します。
投稿の可否をClaudeのAPIで判定する実装を、JSON出力の設計、リスクレベル、評価、カテゴリ定義、まとめ処理とMessage Batches APIの違いまで順に解説します。
承認後にClaude Consoleで行う作業の順序です。Organization settings > Programsでの確認、Qualificationsパネルでの要件確認、データ保持の有効化とRerunまでを扱います。
Claude Consoleの組織へメンバーを招待する手順です。Settings > Membersの操作、招待メールの期限(3週間)、最大50件の一括入力、ロールの選び方、取り消しを扱います。
on-demand compactionで残したターンのthinking blockを有効に保つ3条件と、破ったときに次のリクエストで400になる仕組み、input_transformationsで確かめるテスト手順をまとめます。
Message Batches APIだけで使える30万トークン出力。ベータヘッダーの付け方、対象モデル、使えない環境、1時間超の生成を24時間枠に収める設計、料金を整理する。
User Profiles APIでプロファイルを作り、anthropic-user-profile-idヘッダーでリクエストを紐づける流れと、applicationとpassthroughの違い、ベータヘッダー3世代の移行点。
子どもが直接やり取りする製品にClaude APIを組み込む事業者へ、Anthropicが求める追加措置・AI開示・法令遵守を、実装の単位に分けて解説します。
Claude APIキーが漏れたかもしれないときに、Consoleで止めて再発行するまでの手順と、無効化と削除の違い、再発を防ぐキー管理をまとめます。
API connection errorはHTTPの応答が返る前に通信が途切れたときのエラー。Claude Codeの接続エラー表示の読み方と、VPN・ファイアウォール・プロキシの切り分け手順を書く。