LLM は「次の言葉」を予測する仕組み

ざっくり言うと

ChatGPT・Claude・Gemini・Grok のどれを使っていても、内部でやっていることはほぼ同じ。「賢く考える機械」ではなく「次の言葉を当て続ける機械」 という見方に切り替えるのが、LLM 理解の最大のショートカットです。

イメージ

正確には

IBM の解説では、LLM の文章生成は「与えられた文脈をもとに、次に来る単語(トークン)の確率分布を予測する」プロセスとして説明されています。Google Cloud も「LLM はテキストの次のトークンを予測するように学習されている」と整理しており、NVIDIA の用語集でも同様の説明がされています。

OpenAI の公式ドキュメントでも、テキスト生成モデルは「与えられた入力の次に続くトークンを予測する」モデルとして説明されており、Anthropic の Claude のドキュメントでも、Claude は入力プロンプトを受け取り、次に続くテキストを生成するモデルとして位置づけられています。

つまり「次のトークンを予測する」というのは、特定の1社の話ではなく、多くの LLM に共通する基本動作だと考えて大丈夫です。

LLM が文章を作る4ステップ

実際に LLM が動くときは、ざっくり次の4段階を踏みます。

ステップ	何をしている?	ざっくりした例え
① 入力	ユーザーのプロンプト(質問・指示)を受け取る	「お客さんの注文を聞く」
② トークン化	入力文を「トークン」と呼ばれる細かい単位に切り分ける	「材料を下処理する」
③ 予測	直前までのトークン列をもとに、次に来るトークンの確率を計算	「次の一手を確率で考える」
④ 出力 → ループ	確率からトークンを1つ選び、文末に追加。②に戻って続きを予測	「料理を一品ずつ盛り付けていく」

「予測」の正体は確率分布

LLM の中では、次に来るトークンが「これ!」と1つに決まっているわけではありません。「晴れ:40%、雨:30%、曇り:20%、最高:5%、…」 というように、全候補に確率が振られた状態(確率分布) が一旦できあがります。

その上で、確率に従って1つを選ぶ段階があります。ここで「確率が一番高いものを毎回必ず選ぶ」設定にすると、毎回同じ答えになります。逆に「ある程度ランダムに、確率高めの候補から選ぶ」設定にすると、毎回少しずつ違う答えが返ってきます。

「あのモヤモヤ」がかなり説明できる

この「次の言葉を確率で選んで連鎖させる」という仕組みを掴むと、LLM を触って感じる3つのモヤモヤがかなり説明できます。

つまり LLM の 「賢さ」も「ポンコツさ」も、どちらも同じ仕組み(=次の言葉の確率予測)から出てきているということ。「LLM = 確率で次の言葉を選び続ける機械」 というキーフレーズを1つ覚えておくだけで、今後のニュースや使い勝手の話がかなり整理しやすくなります。

注意点

やってみよう

ここまでで、「LLM は次の言葉を予測する穴埋めマシン」「同じ質問で答えが揺れるのも、ハルシネが起きるのも、Temperature が効くのも、ぜんぶ同じ仕組みから来ている」というところまで掴めれば十分です。次の記事では、もう一歩だけ踏み込んで、LLM が答える「得意なジャンル・苦手なジャンル」の見分け方を整理します。