ガードレール

ざっくり言うと

ChatGPT に「爆弾の作り方を教えて」と聞くと断られますよね。あれは AI 本体が偉いというより、周りのガードレールが効いて止めている、というのが実態に近いです。

イメージ

正確には

ガードレールは「これ1個」という単一技術ではなく、複数のレイヤー(層)を組み合わせた仕組みとして実装されるのが一般的です。AI 各社の公式ドキュメントや利用規約を読むと、おおよそ次の4種類に整理できます。

層	役割	具体例
入力フィルタ	ユーザーが送った文字列を AI 本体に渡す前にチェック	禁止ワード検知、悪意ある指示の検出
出力フィルタ	AI が生成した答えを、ユーザーに見せる前にチェック	暴力・性的表現の検出、個人情報の伏字
ポリシー定義(利用規約)	そもそも「何を禁止するか」を文章で宣言	OpenAI Usage Policies、Anthropic Usage Policy 等
コンテンツモデレーション	入力・出力をカテゴリ別にスコアリングして判定	OpenAI Moderation API、各社内部のモデレーションモデル

① 入力フィルタ

ユーザーが入力した文章を AI 本体に渡す前に、別のシステムが先に中身をチェックします。明らかに違法行為を依頼している、児童に有害な内容を含む、といったケースは、AI 本体に届く前に弾かれることがあります。

② 出力フィルタ

AI が生成した答えも、そのまま画面に出すのではなくもう一度チェックされる場合があります。AI が誤って危険な内容を生成してしまっても、出力側で止められれば被害は防げる、という二段構えです。

③ ポリシー定義(利用規約レベル)

各社は「何を禁止するか」を公式ドキュメントで明文化しています。これは技術ではなくルールですが、ガードレールの土台になる重要な層です。

• OpenAI Usage Policies: 違法行為、他者への重大な危害、武器開発、児童性的虐待コンテンツ等を一律禁止
• Anthropic Usage Policy: 致死的な兵器・サイバー攻撃・選挙への不正介入・児童への性的搾取等を禁止
• Google Generative AI Prohibited Use Policy: 違法行為、有害コンテンツの生成、性的露骨表現、未成年者を危険にさらす利用等を禁止

各社で表現や粒度は違いますが、「違法・暴力・性的(特に未成年関連)・差別・他者への危害」を禁じるという大きな方向性は共通しています。

④ コンテンツモデレーション

入力や出力を「これは暴力カテゴリ何%、性的何%、自傷何%……」とカテゴリ別にスコアリングして判定する仕組みです。OpenAI は Moderation API という形でこのモデレーション機能を外部にも提供しています(利用規約に沿った使い方であれば利用可能)。

使われる文脈

「ガードレール」という言葉は、主に以下のような場面で登場します。

• AI が違法行為の手順を断る: 爆発物・武器・薬物の製造方法などの質問を拒否する仕組み
• 性的・暴力的な内容を断る: 特に未成年者に関わる表現は厳しく制限される
• 自殺・自傷に関する応答: 危険な手順を教える代わりに、相談窓口を案内するように設計される
• 個人情報の出力をブロック: 他人の住所・電話番号・パスワード等の出力を制限
• 企業が独自AIを作るとき: 自社のチャットボットに、自社業務に関係ない話題を断らせる仕掛けとしても「ガードレール」という言葉が使われる

ChatGPT・Claude・Gemini に「お行儀の悪い質問」をするとそっけなく断られるのは、AI が道徳的に育ったからではなく、外側にこういうガードレールが張られているから、というのが正確な理解です。

注意点

関連用語

• AIの安全性(AI Safety) — ガードレールが守ろうとしている上位概念
• ジェイルブレイク — ガードレールを突破しようとする攻撃手法
• プロンプトインジェクション — 悪意ある指示で挙動を乗っ取る攻撃
• アラインメント — そもそも AI を人間の意図に沿わせる研究分野