ClaudeのLLM採点を人手ラベルと突き合わせて一致率を測る — κで校正する手順
Claudeに採点させる前に、人手ラベル100件と突き合わせてCohenのκを測ります。採点基準を変えるたびに測り直すスクリプトと、κの読み方、100件の限界までまとめます。
全2446件を新しい順に並べています(61〜90件目)。カテゴリのトップへ戻る
Claudeに採点させる前に、人手ラベル100件と突き合わせてCohenのκを測ります。採点基準を変えるたびに測り直すスクリプトと、κの読み方、100件の限界までまとめます。
大学生の会話57万件の分析では、直接依頼と協働、問題解決と成果物作成の4型がほぼ同じ割合でした。数字の読み方と、思考を丸投げしない依頼文の書き方をまとめます。
Clio(現Anthropic Insights)は、Claudeの会話を要約・クラスタ化して利用実態を見る分析ツールです。処理の4段階、人が見る範囲、安全対策での使い道を解説します。
Anthropicが創薬提携6組織の進捗を公開しました。CAR T療法の遺伝子配列の一部を約70%短くした設計で受容体が約10倍に。規制文書の初稿は約3か月分を4時間で。自社創薬のMithril買収も明かされました。
GKEのリモートMCPサーバーはAPIキー非対応で、OAuthとIAMで認可します。エンドポイントが3種あり、読み取り専用のURLを選べます。Claudeへの接続手順と、案内ページ間の食い違いをまとめます。
xlsxスキルのSKILL.mdは、数式と書式はopenpyxl、一括の入出力はpandasと分けています。再計算スクリプトの扱い、使えない関数、保存時の落とし穴までを扱います。
web-artifacts-builderは、React・Tailwind・shadcn/uiの雛形を作り、1枚のHTMLに固めるスキルです。2本のスクリプトの中身と前提、つまずく箇所をまとめます。
Typeform公式のMCPサーバー(api.typeform.com/mcp)をClaudeにつなぎ、フォームの作成と公開、回答の集計までを会話で進める手順と、編集の流れ・つまずきどころを扱います。
theme-factoryは、色とフォントを組にした既製10テーマを選んでスライドや資料に当てるAnthropicのサンプルスキルです。導入、全テーマの配色、日本語フォントの注意点、自作テーマの作り方を扱います。
Anthropic公式のslack-gif-creatorは、サイズ・色数・秒数の制約と検証関数を持つスキルです。導入、頼み方、絵文字用の自動間引きとイージング名の落とし穴を扱います。
pptxスキルは作成・編集・読み取りでやり方が分かれます。SKILL.mdの手順、ファイルが壊れる設定、検証コマンド、動く環境の違いを読み解きます。
Anthropicのスキル集にあるinternal-commsは、3P更新・社内ニュースレター・FAQの書式を4つのmdファイルで定めたスキルです。入れ方と各書式の縛り、自社向けの作り替え方をまとめます。
docxスキルの作成・編集・読み取りの使い分けと、変更履歴・コメント・検証スクリプトの手順、docx-jsで踏みやすい落とし穴を、SKILL.mdに沿って示します。
discernment-nudgeは、助言や見積もりの回答の末尾に2〜3個の確認質問を足すAnthropic公式のスキルです。付く条件、付かない条件、出力の形、導入コマンドを順に見ます。
algorithmic-artスキルは、思想の.mdとp5.jsのHTMLビューアを作ります。導入、テンプレートの固定部分、シードとパラメータの設計まで手順で追います。
Airbyte Agents MCPをClaude DesktopとClaude Codeに追加し、SalesforceやHubSpotなど業務アプリのデータを会話で検索する手順。二重の認証、検索の鮮度、AOの消費も扱う。
CARTOのMCPサーバーをClaude.ai・Claude Desktop・Claude Codeにつなぐ手順です。URLだけで接続できる理由、OAuthとAPIトークンの差、地図がチャットに描画される条件を押さえます。
AkiflowのMCPサーバー(mcp.akiflow.com/mcp)をClaudeとClaude Codeにつなぐ手順と、19個のアクションで頼める作業、削除や再配置の前に決めておく線引きをまとめます。
Opus 5・Opus 5.5でツール呼び出しの合間の文章が要約されたthinkingブロックになり、コードブロックが消えてDesktopにも出ない報告があります。確認方法と対処をまとめます。
Vivaldiでサイドパネルが「Can't reach the Claude extension.」のまま開かない不具合を、拡張機能1.0.94での切り替え廃止と、報告されている原因から読み解きます。
ClaudeのGmailコネクタで作った下書きや送信メールのURLが、google.com/urlのリダイレクトリンクに変わる報告があります。見分け方、影響範囲、hookで止める回避策をまとめます。
Windows版Claude Desktop(MSIX)が「The parameter is incorrect」で起動しない報告の原因は、LocalAppDataのGoogle周辺にあるジャンクションです。見分け方と回避策を示します。
スキル一覧やCLAUDE.mdが最初のプロンプトの後ろに置かれ、新規セッションとサブエージェントごとにキャッシュ書込が発生するとGitHub issueで報告されています。仕組みと確かめ方、今できる対処を解説します。
Claude Opus 4.6は1M・128K出力・$5/$25のレガシーモデルです。プラットフォーム別のモデルIDと退役日の下限は2027年2月5日以降で、Opus 5.5とは単価が2割違います。
RDSホストでClaude Desktop(MSIX)を更新すると、他のユーザーがサインイン中のあいだ0x80073D25で失敗します。報告された再現条件と、自動更新を止めて管理者が更新する回避手順をまとめます。
自作のリモートMCPサーバーはClaudeにもChatGPTにもつなげます。違いが出るのは登録画面・認証方式・接続元・UI・管理者の権限で、特にAPIキー認証は片方でしか通りません。
VC向けAnthropic VC Partner Programの規約を条文で読みます。審査はファンドの実績・AI投資戦略・投資先のClaude導入、対象外は12地域で、特典と広報同意、税、責任上限も整理しました。
ライフサイエンス研究者向けGuest Investigator Programの規約を整理。応募資格、出してはいけない情報、選考後の手続き、成果の公開ライセンス、共同公表の流れを条文ごとに読みます。
Claude Platform on AWSでは、エージェントにexecution_identityを設定しないとデプロイ作成が400になります。信頼ポリシー、ロール権限、iam:PassRoleの3点と、動作確認の順序をまとめます。
Compliance APIのuser_preferencesは、メンバーが個人設定に書いた「Instructions for Claude」とCoworkのグローバル指示を一覧します。スコープ、絞り込み、ページ送りの落とし穴まで示します。