ハルシネーション

ざっくり言うと

イメージ

「AIが嘘をついた」と言われることがあります。ただ、嘘は本当のことを知っていて、わざと隠す行為ですよね。生成AIは、人間のように真偽を確かめてから書くとは限りません。AIに悪気があったかどうかを考えるより、出てきた内容が事実と合っているかを確かめるほうが役に立ちます。

正確には

なぜ起きる？

AIは、学習で身につけた言葉のつながり方と、会話で受け取った情報から文章を組み立てます。事実を集めたデータベースから、正解をそのまま取り出しているわけではありません。だから、文章として成立していても、中身が合っていないことがあります。

OpenAIは、次の語を予測する学習だけが原因ではないと説明しています。答え方をどう採点するかにも、原因があるというわけです。「分かりません」と答えるより、当てずっぽうでも正解したほうが高い点になります。そんな採点を続けると、AIは自信がない場面でも答えを出すようになるのです。逆に、根拠がないときは答えを保留するよう学習させることもできます。AIが必ず作り話をしてしまうわけではありません。

起きやすいのは、次のような場面です。

• 質問に必要な情報が、学習データにも会話にも入っていない
• 知識カットオフ（そのAIの知識がどの時点までかを示す目安）より後の出来事を、検索なしで聞く
• 社名、人名、数字、URL、引用など、一字一句の正確さが要る
• 質問が曖昧だったり、質問の前提そのものが間違っていたりする
• 検索やRAG（関連資料を検索して回答の材料として渡す仕組み）で、関係のない資料や古い資料を拾ってしまった

知識カットオフはきっかけのひとつですが、それだけが原因ではありません。カットオフより前の話題でも、ハルシネーションは起きます。反対に、検索や添付資料を用意しても、取得漏れや読み違いがあれば誤りは残ります。

よくあるパターン

法律、医療、税務、金融は、間違いの影響が大きい分野です。AIの回答だけで判断しないでください。所管の官庁や法令、医療機関、金融機関が出している一次情報（おおもとの発信元そのものの資料）にあたるか、専門家に確かめましょう。

使う場面

AIを比べるときの注意

ハルシネーションの起きやすさは、モデル名だけでは決まりません。質問の分野、出典の有無、検索の設定、採点のしかたで結果が変わります。AIを比べるときは、次の4つを分けて見てください。

何か答えれば加点する採点と、誤答を強く減点して適切な保留を認める採点とでは、同じ回答でも結果がまったく違ってきます。OpenAIも、こうした採点のしかたが当てずっぽうを後押ししてしまうと指摘しています。「分かりません」と答えた回数を減らすことだけを目指すと、もっともらしい推測がかえって増えかねません。正答率だけでなく、誤答率と保留の適切さも分けて見ましょう。

確認のコツ

AIに「出典は？」と聞くのは、まず試す方法としては有効です。ただし、AIが挙げた出典も正しいとは限りません。リンクが開けるかどうかだけでなく、そのページに本当にその内容が書かれているかまで見てください。

注意点

関連用語

やってみよう