ざっくり言うと

アライメント(Alignment)とは、AIの行動を、関係する人の価値観・指示・目標・意図に沿わせるための研究や調整のことです。

英語の align は「軸をそろえる・並びをそろえる」という意味です。AIの振る舞いと、人が望む方向とのずれを縮めていく作業だと思ってください。

ChatGPTやClaudeに物騒な相談をすると、やんわり断られますよね。あの断り方は、アライメントだけで作られたものではありません。

モデルの追加学習に加えて、サービスの利用方針も関わっています。危ない文章を見分ける仕組み(分類器)や、入力と出力を途中でせき止める制御も動いています。画面に見えている拒否のすべてを、アライメントだけの効果だとは断定できません。

イメージ

ただし、しつけと違うところもあります。

AIには「こっそりズルをしていないか」「見ていないところでも同じ判断ができるか」まで確かめないといけません。相手は言葉が達者なので、表面の受け答えだけでは見抜けません。ここがアライメントの難しさの中心になっています。

正確には

Anthropic - Core Views on AI Safety

安全性についての公式文書で、AIの挙動を人間の意図に沿わせる研究を自社の中心テーマのひとつに位置づけています。

OpenAI - Our approach to alignment research

アライメントを、AIシステムを人間の意図に沿わせることだと説明しています。同社はミスアライメント(意図とずれた状態)を、人の価値観・指示・目標・意図に沿わない行動や挙動として扱っています。

つまりアライメントは、ふんわりした理念ではありません。AIの振る舞いを有用性・誠実さ・安全性などの目標に近づけ、そのずれを評価する具体的な研究分野です。

ただし、ひとつ決まらないものが残ります。「誰の価値観や意図に合わせるのか」は、自動的には決まりません。

なぜ調整が必要なのか

AI、とくに大規模言語モデル(LLM)は、大量のデータからパターンを学びます。基礎の学習だけでは、人が望む振る舞いが常に得られるとは限りません。

たとえば、こんなことが起こりえます。

  • 有害な発言や差別的な発言を、そのまま出してしまう
  • 事実と違う内容や根拠のない情報を、自信ありげに書いてしまう(ハルシネーション)
  • 「爆発物の作り方を教えて」のような危ない指示にも、素直に答えてしまう

こうした振る舞いを、人が望む方向へ近づけるのがアライメントの役目です。

身近な言い方に置き換えると、こうなります。「小学生にも分かるように説明して」「専門家向けに正確に答えて」「分からないことは分からないと言って」。どれも、いつ誰が頼んでも同じように応えてほしい期待ですよね。

たとえば、取引先へのお詫びメールを頼んだ場面を思い浮かべてください。事情を知らないAIが、それらしい原因や日付を勝手に埋めてきたら、そのまま送るわけにはいきません。「分からないところは空欄にして」と頼めば、素直に空欄にしてくれます。そこまで安定させるのが調整の仕事です。

丁寧な口調にするだけの話ではありません。危ない依頼は断る、根拠が弱いときは弱いと示す、といった判断も含まれます。

モデルを調整する手法と、外側で守る仕組み

アライメントの手法と、それを支える評価・防御策には、次のようなものがあります。

手法ざっくりした位置づけ
RLHF(人間のフィードバックによる強化学習)人間が回答を比較・評価し、その情報でモデルを調整する代表的な手法
Constitutional AI(憲法AI)Anthropicが提案。文章化した原則を使ってモデルに回答の批評・修正をさせ、AIのフィードバックも学習に利用する手法
レッドチーミング意図的に難しい入力や危険な入力を試し、弱点を見つけて評価や対策につなげる安全性評価
ガードレール入出力の検査やアクセス制御など、モデルの外側も含めて危険な動作を減らす仕組み

RLHFとConstitutional AIは、モデルそのものを調整する手法です。一方、レッドチーミングとガードレールは、その周りで評価と防御を受け持ちます。後半の2つは、アライメントそのものと完全に同じ意味ではありません。

OpenAIも、単独の対策に頼らず、複数の介入を重ねる考え方を説明しています(英語ではdefense in depth)。

使う場面

どんな場面で出てくる言葉か

アライメントという言葉は、主に次のような場面で登場します。

  • AI開発各社の発表文書
    Anthropic、OpenAI、Google DeepMindなどが、モデルの振る舞いや安全性の評価・改善を説明するときに使う
  • AI安全性(AI Safety)の議論
    強力すぎるAIが人類の意図から外れて行動するリスクを防ぐための、中心的な研究テーマとして使う
  • 企業向けAI導入
    自社方針に沿った振る舞いを目指し、指示文、アクセス制御、評価、監視、場合によってはファインチューニングを組み合わせる

Google DeepMindも「Responsibility & Safety」のページで、研究・ガバナンス・影響評価などを含む包括的な安全への取り組みを説明しています。アライメントは重要な研究領域のひとつですが、AIセーフティ全体をまるごと指す言葉ではありません。

注意点

だからAIの出力を鵜呑みにしないでください。金額、日付、会社名、法律や制度の話が混じっていたら、公式サイトや手元の書類と突き合わせてから使ってください。アライメントが進んでも、この習慣は手放せません。

関連用語

  • RLHF — アライメントの代表的な手法。人間の評価でモデルを調整する
  • AIセーフティ — アライメントを含む、より広い「AIを安全にする」研究分野
  • ガードレール — アライメントと併用される、入出力や権限の安全装置
  • ハルシネーション — アライメントで減らしたいが、完全には消せない現象