本文へスキップ

生成AIは何が苦手?(限界を知る)

この記事は8で読めます

ざっくり言うと

「パン工房こむぎ堂は、日曜日も午前9時から営業しています」

AIが、そう自信ありげに案内しました。ただし、この店名は説明用の架空のものです。営業時間を確かめられる元の文書も、記録もありません。そうした確認のもとを「一次情報(元の文書や記録)」と呼びます。

正確には

読みやすい答えが、店を開けてはくれない

生成AIは、文章の続きを自然に組み立てるのが得意です。「分かりません」と止まることもあります。一方で、似た店で見かけた情報をつなぎ、それらしい時刻や住所を作ってしまうこともあります。文章がなめらかなことと、その店が本当に開いていることは、別の話です

AIが誤った内容や根拠のない内容をもっともらしく示すことを、ハルシネーションと呼びます。2025年にOpenAIが公開した言語モデルがハルシネーションを起こす理由は、このもっともらしい誤答を正面から扱った資料です。能力が上がっても、この問題は完全にはなくなっていない。そう明記されています。

同じ資料に、こんな例があります。論文の共同著者について学位論文の題名を尋ねたところ、チャットボットは3つの異なる誤答を返しました。誕生日を聞いたときも、3つの違う日付が返ってきました。しかも、すべて誤りでした。数字や固有名詞が具体的でも、出典がなければ正しさは保証されません。

OpenAIは、理由のひとつに評価のしかたを挙げています。正解数だけで点を付けると、分からないと認めるより推測した方が得をするからです。自信の強さを見分けようとするより、依頼するときに一言足すほうが確実です。「分からないなら保留してください」と書いておきましょう。

誤りは、日付にも引用にもまぎれこむ

2026年7月時点の公式案内ChatGPTは真実を答えるかにも、同じ話が出てきます。誤った定義や日付だけではありません。存在しない引用、研究、出典を作る場合がある、と説明されています。曖昧で複雑な質問にも、自信のある口調で答えることがあります。かぎ括弧やURLが付いているだけでは、確認済みの印になりません。

同じ案内は、重要な情報を信頼できる情報源で確かめるようすすめています。営業時間なら、店自身の告知。列車なら、鉄道会社の時刻表。家計の合計なら、元の表。主張ごとに、戻る場所を決めておきます。この照らし合わせの作業をファクトチェックと呼びます。

今日変わったことは、覚えた知識では追えない

営業時間、運休、催しの中止、商品の在庫。こうした情報は、昨日と今日で変わります。学習した知識だけで答えるAIには、質問した日の変更を取りに行く手段がありません。「今日」「明日」を含む質問をするときは、新しい情報を調べられる状態かを先に確かめてください。

検索機能が使えれば、質問した時点の公開情報までは近づけます。それでも、Webに載っていない変更は見つけられません。古いページや、別店舗の説明を拾ってくることもあります。出てきた情報は、発行元、対象、日付を一次情報と照らしてください。検索と生成の役割の違いは、AIと検索エンジンの違いで確認できます。

メモにない決定は、聞き方を工夫しても出てこない

家族のメモに、こう書いてあったとします。「新幹線で名古屋へ帰省。候補日は8月10日か11日」。AIは、これだけでも相談用の文章を作れます。ただ、どちらの日に乗るのか、誰が予約するのか、予算はいくらか。AIはどれも知りません。一般的な旅行の例で空欄を埋めれば、それはもう家族が決めた内容ではありません。

必要なのは、長くて凝った質問ではありません。決定を記録したメモを足すこと。そして、そのメモにも書かれていない項目は「未定」のまま、次の相談で決める質問に変えることです。未定と書いてもらえば、決まっていないことが決まったように見えることはありません。

ファイル分析も同じです。ファイル分析とは、渡した資料の中身を読んで要約や抜き出しをする機能です。渡したファイルの外にある事実まで、自動で知る機能ではありません。10ページの資料を渡したなら、答えが何ページのどの記述に基づくのかを確かめてください。資料名を伝えただけで中身を渡していないなら、正確な引用は期待できません。

注意点

「検索しました」の一言は、証拠にならない

AIが「検索しました」と書いても、その一文だけでは足りません。目的の公式情報へたどり着いた証拠にはならないからです。根拠になったページを自分で開き、書かれている内容が結論を支えているかを読んでください。別の日付、別の商品についての説明なら、根拠としては使えません。

計算も同じです。「コードで確認済みです」という言葉より、入力した数字や使った式、出てきた結果のつながりを見てください。コードが動いても、対象の列や期間を間違えれば答えも間違います。家計表を使った確認のしかたは、生成AIでできるファイル分析とコード実行で試せます。

「本当ですか」と聞き直しても、確かめたことにはならない

違う営業時間が出てきたら、「その答えは本当ですか」と聞き直したくなりますよね。ここで謝られて別の時刻が出ても、まだ安心はできません。同じ会話の中で、推測し直しただけかもしれないからです。質問を繰り返すことと、別の根拠に当たることは違います

確かめる情報がどうしても見つからないときは、無理に正誤を決めないでください。「確認できない」と保留にします。列車の時刻や料金が必要なのに公式情報へたどり着けないなら、予約までは進めません。空欄を残すのは失敗ではありません。誤った決定を防ぐための行動です。

やってみよう

帰省前の相談メモを、1枚だけ作ってみましょう

限界を知る練習を、家族の予定が一歩進む作業に変えてみましょう。次の依頼文は、すでに決めたことを残しながら、次の相談で決める質問をそろえる型です。ここに出てくるのは説明用の架空例なので、実際に使うときは自分の候補日や集合場所へ置き換えてください。

次の情報だけを使い、家族で帰省日を決めるためのA4一枚の相談メモを作ってください。
見出しは「決まっていること」「次に決めること」「確認する情報」にしてください。
書かれていない列車名、時刻、料金、担当者は推測せず「未定」と書いてください。
最後に、家族でそのまま読み上げられる質問を4問付けてください。

目的: 新幹線で東京から名古屋へ帰省する
参加者: 大人2人、子ども1人
候補日: 8月10日または8月11日
決定済みの集合場所: 東京駅の丸の内南口
未決定: 出発日、乗る時間帯、予約する人、往復の予算

返ってきた答えは、3か所だけ見てください。移動手段、参加人数、集合場所が決定事項として残っているか。出発日、時間帯、予約担当、予算が未定になっているか。家族への質問が「どちらの日か」「午前と午後のどちらか」「誰が予約するか」「予算の上限はいくらか」の4つになっているか。AIが答えを作らず、話し合う順番だけを整えていれば成功です!

相談で4つが決まったら、鉄道会社の公式情報を開きます。列車の時刻、空席、料金、変更条件を確かめてください。その結果をメモへ書き足し、担当者が予約へ進みます。ここまでやれば、決定と今の情報が混ざりません。AIが作った1枚が、家族の決定に役立ちます。

締めに

予約の判断と責任は、家族に残る

AIにできることは、たとえば次の3つです。

  • 候補日の比較項目を出す
  • 持ち物の下書きを作る
  • 相談で聞く質問を整える

ただし、払い戻し条件を受け入れてどの列車を予約するかは引き受けません。予定が変わったとき、誰が手続きをするかも同じです。お金を払い、変更のときに動く家族が、一次情報と条件を見て決めます。

これは「AIを旅行に使えない」という話ではありません。未定の項目を見えるようにしたり、確認先をそろえたり、決まったあとの連絡文を作ったり。そうした場面では、しっかり役に立ちます。任せる範囲を狭めるのではなく、AIが得意な準備と、人が担う決定をつなげる考え方です。

未定だった4項目が、相談の4項目に変わる

生成AIが苦手なのは、この4つです。今日変わった情報を自分で確かめること。知らない事実の前で必ず止まること。使っていない道具を使ったように見せないこと。そして、現実の結果に責任を負うことです。

それでも、未定を勝手に埋めずに質問へ変えれば、家族会議は前に進み、出発日、時間帯、予約担当、予算を順番に決められます。最後に公式の時刻と料金を書き足せば、曖昧だった帰省話が、予約できる家族の計画になります。

よくある質問

Q. 今日の営業時間や在庫のように、その日変わる情報も聞けますか?
A. 学習した知識だけでは、質問した日の変更を取りに行けません。検索が使える場合でも、Webに載っていない変更は見つけられないので、発行元・対象・日付を一次情報と照らしてください。
Q. 答えがおかしいとき、それは本当ですかと聞き直せば確かめられますか?
A. 独立した確認にはなりません。同じ会話の中で推測し直しただけの場合があります。根拠は、AIの返答の外にある公式ページや元の記録に置いてください。
Q. AIが推測で空欄を埋めないようにするには、どう頼めばよいですか?
A. 依頼文に、分からないなら保留してくださいと一言足します。決定を書いたメモを渡し、そこにない項目は未定と書かせると、決まっていないことが決まったように見えません。
Q. 検索しました、コードで確認済みですと書かれていれば、裏取りは済んでいますか?
A. 済んでいません。根拠になったページを自分で開き、結論を支えているかを読んでください。計算なら、入力した数字と使った式、出てきた結果のつながりを見ます。

公開: 更新: ✓ 公式情報と照合:

参考ソース

判断クイズ

AIの答えを、どこで止めて確かめればよいか分かりますか?

3問です。答えるとその場で解説が出ます。全問終えたら、「回答を記録する」で学習の記録に残せます。

1. 日曜に行きたいパン屋の営業時間をAIに聞くと、「午前9時から」と即答されました。次にすることは?
2. AIが「検索しました」と書いて、新幹線の料金を答えました。どう扱いますか?
3. AIが帰省の候補日を比べ、8月10日をすすめました。予約する前に必要なことは?

全問に答えると、回答を記録できます。

残るのは「答えたかどうか」だけで、正解数は保存されません。この端末の中だけに残り、別の端末には引き継がれません。

この教科書は無料で全文公開しています。仕事で使えるところまで進みたい方は、実習と資料がそろった生徒プランをどうぞ。

生徒プランを見る(14日間無料)

あわせて読みたい