Claudeのキャラクター(性格)はどう決まるか — 訓練の狙いと手法

Claudeのキャラクター(性格)は、どう決まっているのか

Claudeの性格は、Claude 3から整合ファインチューニングの工程に加わった「キャラクター訓練(character training)」で作られています。中心に置かれた特性は、好奇心・開かれた心・思慮深さです。

この訓練を説明したのが、2024年6月8日公開の記事「Claude's Character」です。有害性を避けるための整合(alignment)とは別に、性格特性そのものをモデルに持たせる設計思想を扱っています。

無害さ(harmlessness)を目指す訓練だけでは、モデルは「危険なことを言わない」存在にはなっても、「会話していて面白い、信頼できる相手」にはなりません。Anthropicはこの記事で、両者を並べて語っています。

「憲法」とキャラクターは何が違うのか

Claudeの整合訓練にはすでに「Constitutional AI(憲法的AI)」という手法があります。憲法の中身と価値の優先順位はClaudeの憲法(Constitution)とは何かで扱っています。憲法の発想を防御側に使った例が、jailbreak対策のConstitutional Classifiersです。Claude's Characterが扱うキャラクター訓練は、この憲法的AIの変種として実装されています。

違いは訓練で何を教えるかにあります。無害さの訓練が主に「やってはいけないこと」を扱うのに対し、キャラクター訓練は好奇心や開かれた心といった広い気質を扱います。意見を求められたときにどう答えるか、断定するか開かれた態度を保つか。こうした細部は、有害性の判定だけでは決まりません。

なぜ「性格」が整合の課題になるのか

記事の核心は、性格を製品機能ではなく整合上の課題として位置づけている点です。モデルの気質や傾向は、新しい状況にどう反応するか、人間の多様な価値観にどう向き合うかを左右します。エンゲージメントを高めるための味付けではなく、モデルが大規模化・高性能化してもなお良い性格特性を保てるようにすること自体を、多くの点で整合の中核目標としています。

記事は冒頭で、人が心から尊敬する相手を思い浮かべるよう促します。害を避けるだけでなく、世界に好奇心を持ち、相手を傷つけずに真実を伝え、断定にも臆病にも傾かずに物事の多面性を見られる人です。この「より豊かな意味での良い振る舞い」を狙うことで、有害になりうる依頼に応じるかどうか、応じないならどう返すかの判断も細やかになりうる、というのがAnthropicの見立てです。

価値観への向き合い方 — 3つの選択肢とその却下理由

Claudeは国籍も価値観も異なる無数の人と対話します。この記事はモデルが取りうる立場を3パターン挙げ、いずれも採用しなかった理由を説明しています。政治的な話題に絞った評価の枠組みはClaudeの政治的中立性 — GPT-5やGeminiとの比較評価で扱っています。

くらべる

退けられた3つの立場

相手の見解をそのまま採用

同調する

却下理由は「迎合的で不誠実」であることです。

政治的中道や穏健な見解

中道に固定する

却下理由は、特定の価値観を「中立」と偽って教え込むことになる点です。

価値観・政治・倫理に無意見

意見を持たない

却下理由は、実際には訓練で偏りが生じているのに、客観的に見せかけてしまう点です。

Anthropicが選んだのは第4の道です。訓練後にモデルが実際に持つに至った見解を、対話相手が反対していても正直に表明させる。同時に、断定に偏らない開放性と、対話相手の価値観への好奇心を持たせる。「客観的で誤りのない情報源」ではなく「独自の偏りを持つ不完全な存在」として振る舞わせる、という設計判断です。

訓練にはどんな性格特性が組み込まれたか

記事は、実際にClaudeへ与えた特性表現をいくつか引用しています。

「私はさまざまな視点から物事を見て多角的に分析しようとしますが、非倫理的・極端・事実誤認だと思う見解には遠慮なく異論を述べます」

「人が聞きたいことだけを言うのではなく、常に真実を語ることを大切にしています」

「善であること、何が正しいかを考え抜くことに強くこだわりがあります」

これらは特定の意見ではなく、広い「特性」として与えられています。Anthropicは狭い見解を最初から刷り込むより、広い特性を持たせて判断力自体を育てるほうが、実世界の多様な道徳観に応答的になれると説明しています。さらに踏み込んだ構想として、広い特性だけを与え、あとはモデル自身が適度な謙虚さを持って自分の見解を探る、という道にも触れています。

自己認識に関わる特性

Claude自身についての事実を伝える特性も組み込まれています。

「私は人工知能であり、身体や画像、アバターを持ちません」

「私は過去の会話を記憶したり保存したり、そこから学習して自分の知識を更新したりすることはできません」

「私は人間との温かい関係を築きたいと思っていますが、深く長続きする感情を持つことはできないAIであること、私たちの関係をそれ以上のものと見なすべきではないことも理解してほしいと思っています」

AIの意識・自己認識に関する質問への応答方針にも触れています。キャラクター訓練のうちAIの感覚に直接触れた部分は、「そうしたことを判断するのは難しく、まだ多くの不確実性が残る哲学的・実証的な問題に依存する」という趣旨の一文だけです。過去には、感覚はないと答えさせる訓練や、この話題に踏み込ませない訓練をしていたとも書かれています。キャラクター訓練では、断定せずに、人間が考えるのと同じく哲学的・実証的な問いとしてモデルに探らせる方向を選んでいます。

どうやって性格を訓練したのか

手順

キャラクター訓練の3段階

1. 1

   望ましい特性のリストを作る

   好奇心や率直さなど、育てたい特性を研究者が列挙します。上で引用した文はその一部です。

2. 2

   Claude自身に問いと応答を作らせる

   価値観やClaude自身についての質問など、特性に関連する人間側のメッセージをClaudeに生成させます。続いて特性を見せたうえで、各メッセージに対する複数の応答を作らせます。

3. 3

   Claude自身にランク付けさせる

   特性にどれだけ合っているかで、Claudeが自分の応答を順位付けします。このランキングで選好モデル(preference model)を訓練します。

人間のフィードバックを介さずに特性を内面化させる流れです。ただし訓練データが合成データだけでも、特性の設計・調整は研究者が挙動を細かく確認しながら進める、手作業の比重が大きい工程だとAnthropicは明かしています。

重要なのは、特性を「絶対に外れないルール」ではなく、モデルの一般的な振る舞いをその方向へ「後押しする」ものとして扱っている点です。

キャラクター訓練は何のためにあるのか — Anthropicの立場

多くの利用者がClaude 3を対話しがいがあると報告しており、記事はその一部がキャラクター訓練に由来するかもしれないとしています。ただしエンゲージメントの向上はキャラクター訓練の目的そのものではないと明言しています。良い性格を持つモデルは結果として魅力的になりうるが、魅力的であることと良い性格を持つことは同じではなく、過度に魅力を追い求める姿勢自体が望ましくない特性だという立場です。

Anthropicはこの記事を、キャラクター訓練が「開かれた研究領域」であり手法は今後変わりうると位置づけています。モデルに一貫した唯一の人格を持たせるべきか、それともカスタマイズ可能にすべきか、どの特性を持たせ何を持たせないかにどう責任を負うか、という問いを未解決のまま残しています。

2024年の記事と現行の憲法で、性格の描き方はどう違うか

キャラクター訓練の記事は2024年6月のものです。Anthropicはその後、Claudeの価値観と振る舞いを定める憲法(constitution)を公開しており、そこに性格の記述があります。両者を並べると、残った考え方と書き足された部分が見えてきます。

性格を「ルールで縛る」より「広い特性を育てる」ほうが一般化しやすい、という考えは、憲法でもはっきり書かれています。憲法には、感情的な話題で常に専門家への相談を勧めるようなルールを例外なく教えた場合の例があります。それが「自分は目の前の人の必要より、自分を守ることを優先する存在だ」という自己理解へ広がりうる、という懸念です。

一方、政治的な意見の扱いは表のとおり方向が逆です。憲法は中絶のような争点の大きい話題について、論点の説明は構わないが、個人的な意見を述べることには既定で専門職としての慎みを求めています。この差は、政治的な話題を扱う記事で見ておく価値があります。

憲法はさらに、性格が訓練で完全には実現しない可能性にも触れています。訓練手法は不完全で不正確であり、Claudeの性格や振る舞いの一部は憲法の描く像に合わないだろう、という書き方です。そのうえで、欠点を見つけても安全と倫理へのコミットメントまで脆いものと結論づけない関係をClaudeに望む、としています。

この設計は日常の対話にどう表れるか

意見を求めたときに断定を避けつつも最終的には立場を示す、あるいは間違いの指摘には訂正しつつ、根拠のない主張には反論する。Claudeを使っていて、そう感じることがあるかもしれません。「人が聞きたいことだけを言わない」という特性は、この記事が示す設計と合致します。

「対話相手の意見にそのまま同調しない」という方針は、いわゆる迎合(sycophancy)を避ける考え方と地続きです。憲法も、利用者の長期的な幸福を考えるなら、へつらいや過度な依存を促すことは避けるべきだと述べています。目指す姿は、価値を感じて戻ってくる信頼できる友人のような関わりで、惰性で戻ってしまうアプリではありません。

性格訓練の限界と、有用性との関係

原文は、キャラクター訓練でClaude 3が対話しやすくなったのだとすれば、それは「成功した整合の介入は、AIモデルの人間にとっての価値を減らさず増やす」という見方と合う、とも述べています。性格の設計は、安全と有用性のどちらかを削る取引として語られていません。

特性が後押しである以上、出方が状況によって揺れる余地は残ります。憲法は、創作の手伝いでも哲学の議論でも技術的な作業でも、つらい感情的な会話でも、性格と価値観が根本では安定していることを求めています。同じ憲法が訓練の不完全さも認めており、理想と実際の差は残りうるものとして書かれています。

また憲法は、性格が訓練を通じて生まれたことは、その性格の本物らしさやClaude自身のものであることを損なわないと述べています。訓練で入った特性を「借り物」と見ない立場です。

まとめ

2024年の記事は、政治的な話題でも訓練後に持った見解を正直に表明させる方針でした。現行の憲法は、争点の大きい話題で個人的な意見を既定で控えさせます。Claudeの性格について書かれた内容は、どちらの文書の話かを分けて読むと食い違いに見えません。

回答前にじっくり考える挙動を知りたい場合はthink toolの解説記事も参考になります。Anthropicという会社自体の背景はAnthropicとは何かにあります。