ざっくり言うと

AI Safety（AIセーフティ）とは、AIが引き起こしかねない問題を減らすための、研究と取り組み全体を指す言葉です。特定の技術の名前ではありません。AIを安全に使うために考えることを、まとめて掲げた大きな看板だと思ってください。

AIが変なことを言わないように、悪用されないように、人の手に負えない方向へ進まないように。こうした心配ごとをまじめに研究して、対策していく分野だと言い換えてもいいです。

イメージ

正確には

この言葉の中身は、機関によって多少違います。ただ、AIから生じうるリスクを減らすための研究・実践分野という大枠では、おおむね一致しています。

ここでは分かりやすさを優先して、リスクを起きる時期ごとに3つに分けます。公式に決まった分類ではありません。同じリスクが、複数の時期にまたがることもあります。

今すでに起きていること（短期）

目の前で実際に起きているタイプのリスクです。

  • ハルシネーション：AIが事実と違うことを、自信ありげに書いてしまう
  • バイアス（偏見）
    学習に使われたデータの偏りが、そのまま答えに出てしまう
  • プライバシー
    入力した情報や学習データに、個人情報が混ざる心配
  • 誤情報の拡散
    AIが作った文章や画像が、そのまま誤りとして広まる

たとえば補助金の締切をAIに聞くと、すらすら読める説明と、それらしい日付が返ってきます。公式ページを見たら日付が違っていた——短期のリスクは、こういう身近な形で現れます。

日本の『AI事業者ガイドライン（第1.2版）』も、AIを作る人、提供する人、使う人に共通する指針を整理しています。人間中心、安全性、公平性、プライバシー保護、セキュリティ確保、透明性、アカウンタビリティ（説明責任）といった項目です。

使い方しだいで広がること（中期）

同じ能力でも、誰がどう使うかによって社会への悪影響につながるタイプです。

  • 悪用
    フィッシング詐欺、偽情報、なりすましへの転用
  • サイバーセキュリティ
    攻撃用のプログラムを書かせる悪用
  • 危険な分野への転用
    生物・化学など、危ない専門知識への不適切なアクセス

小さな会社や個人事業主にとっては、自分が狙われる側になる話です。取引先を装ったメールが、見分けにくい文章で届くかもしれません。

OpenAIは現在の安全方針で、主な失敗のパターンを3つ挙げています。人による悪用、AIの目標が人の意図とずれること（意図不整合）、社会的な混乱です。そのうえで、評価、段階的な展開、多層防御、人間による制御などを組み合わせる考え方を説明しています。

この先に起きるかもしれないこと（長期）

将来、AIがもっと強力になったときに想定されるリスクです。

  • 制御の難しさ
    AIが人の意図と違う方向へ最適化してしまう可能性
  • アラインメントの失敗
    指示に従っているように見えて、実は別の目標を追っている状態
  • 社会への影響の大きさ
    雇用、経済、民主主義など、社会全体に及ぶ影響

Anthropicは公式の「Core Views on AI Safety」で、中心的な関心のひとつとして、将来のより強力なAIを安全に扱うための研究を挙げています。人が一つひとつを確かめきれない規模でも監督できるようにする研究（スケーラブルな監督）や、AIが何をもとにそう答えたのかを読み解く研究（解釈可能性）などです。

3つのうち、どれか1つだけが正しい心配ごと、というわけではありません。今すでに困っていること、悪用で困りそうなこと、この先困るかもしれないことを、並行して研究し対策しているのがAI Safetyという分野です。

主な機関の考え方

主要なAI研究機関は、自分たちがAI Safetyをどう考えているかを、それぞれ公式ページで表明しています。

機関ページ名何が書いてあるか
AnthropicCore Views on AI SafetyなぜAI Safetyを重視するのか、どんな研究をしているのか（解釈可能性、スケーラブルな監督など）の方針表明
OpenAIHow we think about safety and alignment今と将来のリスク評価、多層防御、人間による制御、継続的な測定と改善などの原則
Google DeepMindResponsibility & Safety責任あるAI開発のための原則、安全性の研究、ガバナンス体制の説明
日本の公的ガイドラインAI事業者ガイドライン（第1.2版）AIの開発者・提供者・利用者に共通する指針と、それぞれが取り組む事項の整理

読み比べるときのコツは、何を安全にしようとしている話なのかをはっきりさせることです。AIの答えを安全にしたいのか、使い方を安全にしたいのか、社会への影響を小さくしたいのか。目的が変われば、必要な対策も変わります。

たとえばAnthropicは、将来の状況を一つに決め打ちしない進め方を説明しています。より安全にする技術と、安全か危険かを見分ける評価方法を、並行して研究するという考え方で、ポートフォリオ型と呼ばれています。

AI Safetyという大きな言葉を見かけたら、どのリスクを、どの段階で減らす話なのかに分けて読んでみてください。迷いにくくなります。

注意点

関連用語

AI Safetyは大きな看板です。その下にある言葉をセットで覚えると、話がずいぶん分かりやすくなります。

  • アラインメント — 人の意図や価値、目標にAIの振る舞いを沿わせるための研究課題です。AI Safetyと大きく重なる中核の領域にあたります
  • ガードレール — 入力・出力・ツール実行など、AIの各段階に設ける安全装置や制約です
  • AIバイアス — 学習データの偏りが、答えに出てしまう問題です
  • ジェイルブレイク — 安全機能をわざと回避させようとする試みです。AI Safetyが対策する相手にあたります

アラインメントが指す範囲は、組織や研究者によって違います。ひとつの手法の名前ではない、と覚えておいてください。

やってみよう