ざっくり言うと

ガードレール（guardrails）とは、AIの入力・出力・ツールの実行などを検査して、望ましくない内容や動作を抑える仕組みの総称です。1つの技術の名前ではありません。モデルの学習、入出力のチェック、モデレーション、権限の制御、人間の確認などを組み合わせて作ります。

AIが危ない依頼を断ったとき、働いている安全策は1つとは限りません。安全性を考えた学習、システム側の指示、検出や監視などが、同時に関わり得ます。

外側のフィルタだけが止めている、と考えると実態から離れてしまいます。

イメージ

道路の柵を立てるのは、道路を管理している側です。AIのガードレールを設計しているのも、AIを提供している会社（OpenAI、Anthropic、Googleなど）です。

普段どおりに使っているぶんには、柵があること自体、ほとんど意識しません。

正確には

ガードレールは、これ1つと言い切れる単一の技術ではありません。公式ドキュメントで公開されている例を並べると、次の5つに整理できます。

分かりやすさのための分類であり、すべての製品に共通する内部構成ではありません。

要素役割具体例
入力チェック送られた文章を検査し、必要に応じて止める悪意ある利用や対象外の依頼の検出
出力チェック生成結果を検査し、表示・利用の前に止める有害内容や機密情報の検出
ポリシー定義許可する利用と禁止する利用の境界を定めるOpenAI Usage policies、Anthropic Usage Policy等
コンテンツモデレーションテキストや画像をカテゴリ別に分類するOpenAI Moderation API
ツール・権限の制御外部操作の前後を検査し、権限や実行範囲を絞るツール呼び出しの検証、重要操作前の承認

① 送る前に止める（入力フィルタ）

アプリの側で、使う人が入力した文章を検査し、対象外の依頼や危険な利用を止められます。たとえば、他人の個人情報を集めさせる依頼は、この段階ではじかれることがあります。

ただし実行方式によっては、モデルやツールの処理と並行して検査する場合もあります。必ずAI本体より先に止まる、とは限りません。

② 答えを見て止める（出力フィルタ）

AIが書いた答えも、そのまま画面に出すのではなく、もう一度チェックされる場合があります。AIが誤って危ない内容を作っても、出す前に止まれば被害は防げます。入口と出口の二段構えです。

③ そもそも禁止と決めておく（ポリシー定義）

各社は、何を禁止するかを公式ドキュメントで明文化しています。技術ではなくルールですが、ガードレールの土台になる大事な層です。各社が禁止として挙げている例を見てみましょう。

  • OpenAI Usage Policies
    武器開発、違法な活動、安全策の回避、児童性的虐待コンテンツに関する利用など
  • Anthropic Usage Policy
    致死的な兵器、サイバー攻撃、選挙への不正介入、児童への性的搾取など
  • Google Generative AI Prohibited Use Policy：違法行為、有害コンテンツの生成、性的露骨表現、未成年者を危険にさらす利用など

各社とも危害や違法な利用などを制限していますが、禁止対象・条件・例外は同一ではありません。仕事でAIを使うなら、使いはじめる前に現行のポリシーへ目を通しておいてください。

探し方は簡単です。サービス名とusage policy（利用ポリシー）を並べて検索すると、各社の公式ページが見つかります。

④ 中身をカテゴリごとに判定する（コンテンツモデレーション）

入力や出力を、有害性のカテゴリごとに分類する仕組みです。OpenAIのModeration APIは、全体のフラグ、カテゴリ別の判定、カテゴリスコアを返します。

スコアは、アプリの側が判断するための材料です。危険である確率とも、自動的な遮断の判断とも、同じものではありません。

⑤ 実行の前後で確かめる（ツール・権限の制御）

AIエージェントがメール送信やファイル操作などのツールを使う場合は、ツールへ渡す入力と実行結果を検査できます。重要な操作の前に人間の承認を求める仕組みも、ガードレールになります。

OpenAI Agents SDKの公式ドキュメントでも、入力と出力だけでなく、カスタム関数ツールの実行前後に検査を置く方法が説明されています。

使う場面

自分の商売に当てはめると

自分の店や事務所でAIを使う道具を作るときにも、この考え方は役に立ちます。業務ごとの境界線を、先に決めておくイメージです。

たとえば工務店が問い合わせ用のチャットを置くなら、こんな線を引きます。

  • 見積もりの金額は答えさせず、担当者につなぎます
  • 医療や法律にあたる最終判断は、専門家への相談をすすめます
  • 工事と関係のない雑談は、短く断ります

境界線を先に文章にしておけば、そのままAIへの指示としても使えます。

どんな場面で出てくる言葉か

ガードレールという言葉は、主に次のような場面で登場します。

  • 違法行為の手順を断るとき
    爆発物・武器・薬物の作り方といった質問を拒否します
  • 性的・暴力的な内容を断るとき
    とくに未成年者に関わる表現は厳しく制限されます
  • 自殺や自傷に関わる相談
    危険な手順を教える代わりに、相談窓口を案内するよう設計されます
  • 個人情報の出力を止めるとき
    他人の住所・電話番号・パスワード等の出力を制限します
  • 会社が独自のAIを作るとき
    業務と関係のない話題を自社のチャットボットに断らせる仕掛けも、こう呼ばれます

AIが不適切な質問を断るのは、道徳心があるからではありません。モデルの学習と、サービス側の安全設計によるものです。

注意点

関連用語

やってみよう