AIは「考えている」のか?(確率予測の話)

ざっくり言うと

イメージ

正確には

生成AIの中核にある LLM(大規模言語モデル / Large Language Model) は、技術的には 「次トークン予測(next-token prediction)」 を行うモデルです。トークンとは「単語のかけら」のようなもので、LLM はこれを 1 個ずつ確率的に選んで出力します。

IBM の公式解説では、LLM について「過去に与えられたトークンに基づいて、次にどのトークンが来るかの確率分布を予測する」モデルだと整理されています。

総務省『令和5年版 情報通信白書』も、生成AI(特に LLM)の仕組みを「膨大なテキストデータから学習し、次に来る単語を確率的に予測することで文章を生成する」と説明しています。日本の公的文書でも、ここに揺らぎはありません。

Google Cloud の解説でも同様に、LLM は「統計的なパターンに基づいて次の単語を予測する」モデルだと位置づけられています。

つまり、流派や会社を問わず、「LLM = 次に来る言葉を確率で当て続ける機械」 という説明はほぼ共通理解です。

人間の思考 vs LLM の処理

混乱しやすいのは、出てくる文章があまりに自然なので「裏で考えているように見えてしまう」ことです。中身は別物だ、と整理しておきます。

観点	人間の思考	LLM の処理
中身	意味を理解し、事実関係を頭の中で組み立てる	直前までの文章をもとに、次の単語の確率を計算して 1 個選ぶ
単位	概念・意味・経験	トークン(単語のかけら)
「正しさ」の基準	事実と論理に合っているか	学習データから見て 自然な続きか
知らないとき	「知りません」と言える(個人差あり)	知らないことでも、それっぽい続きを作って返してしまうことがある
反省・修正	後から気づいて訂正できる	一度出したトークン列に対して、自分から訂正に行く仕組みはない(※対話の中で指摘されると直せる)

「理解しているのか?」という哲学論争には踏み込まない

「いやでも、確率で選んでるだけにしては賢すぎるよね?」という疑問はもっともです。学術界でも「LLM は本当に理解しているのか / していないのか」は議論が続いています。

ただし本記事は、実務で AI を使う側の説明書です。哲学論争には立ち入らず、「中身は次の単語の確率予測である」 という工学的な事実だけを押さえます。ここを押さえておけば、次に説明する ハルシネーションの理由 がすっと飲み込めます。

「自然な文章」と「正しい内容」は別

初心者がいちばん混乱しやすいのは、AIの文章が自然だと「内容も正しいはず」と感じてしまうところです。でも LLM が直接見ているのは、まず文章の自然さです。事実確認のプロセスは、人間が文章を読むときのようには組み込まれていません。

だから、AIの回答を読むときは「日本語としてなめらかか」と「内容が正しいか」を分けて見ます。前者はAIが得意です。後者は、検索や公式情報で人間が確認する領域です。

たとえば、店名や日付が入った回答は「文章としては上手い」だけでは足りません。

その店が本当に存在するか、その日付が正しいかは、別の確認が必要です。

だからハルシネーションが起きる

ハルシネーションの仕組みと対策は別の記事で詳しく扱います。ここでは、「考えてるんじゃなくて続きを当ててる」から、知らないことでも自信満々に書ける という、原因の根っこだけ持ち帰ってください。

やってみよう

次のステップとして、ハルシネーションが起きる具体パターンや、確率予測モデルが苦手とするタスク(計算・最新情報など)について深掘りしたい方は、同じ「はじめに知っておくこと」の章にある関連記事(生成AIの得意・不得意 など)へ進んでみてください。