ハルシネーション

ざっくり言うと

イメージ

正確には

IBM の解説では、ハルシネーションは「大規模言語モデル(LLM)が、事実として誤った、または存在しない情報を、もっともらしく出力する現象」と説明されています。文章としては自然で文法も正しいのに、中身の事実関係だけが間違っている、というのが特徴です。

OpenAI は解説記事「Why language models hallucinate」で、言語モデルの学習・評価の仕組み自体が、モデルに「分からないと言うより推測した方が得」と学習させてしまっている点を、ハルシネーションが構造的に残る一因として挙げています。

総務省『令和6年版 情報通信白書』でも、生成AI のリスクの一つとして「事実と異なる情報を生成する(ハルシネーション)」が指摘されており、業務利用時には人間によるファクトチェックが前提になる、という整理がされています。

関連用語

ハルシネーションを理解するうえで、セットで押さえておきたい用語があります。

用語	ハルシネーションとの関係	詳細
ファクトチェック	出力の真偽を人間が裏取りする作業。最後の砦	/glossary/fact-checking
Web検索(連携機能)	AI が外部の最新情報を参照して回答する仕組み。知識不足由来のハルシネーションを減らす	/glossary/web-search
RAG(検索拡張生成)	社内ドキュメント等の信頼できる情報源を AI に渡してから答えさせる手法	/glossary/rag
知識のカットオフ	モデルが学習した最後の時点。それ以降の出来事は AI にとって「知らないこと」	/glossary/knowledge-cutoff

起きやすい場面(代表例)

これらは「自然な文章として書ける範囲」と「事実として正しい範囲」がズレやすい領域です。仕事で扱う場合は、AI の出力を下書きとして扱い、最終確認は必ず一次情報(公式サイト・官公庁・公式ドキュメント)で行うのが基本姿勢になります。

確認のコツ

ハルシネーション対策は、難しい技術よりも「確認する習慣」が効きます。AI に最初から完璧な答えを期待するのではなく、下書き係として使い、根拠が必要な部分だけ人間が確認する流れにします。

注意点

やってみよう

ハルシネーションがなぜ技術的に起きるのかをもう一段踏み込みたい方は「AIは本当に考えているのか?」、実害と具体的なパターンを見たい方は usage-basics の「ハルシネーションとは何か」へ進んでみてください。