多くの LLM は「次の言葉」を予測する仕組み

ざっくり言うと

イメージ

正確には

同じことは、各社の公式ドキュメントにも書かれています。

つまり「次の言葉を予測する」のは、特定の1社だけの話ではありません。多くのLLMに共通する、基本の動きです。

ここでいう「自己回帰型」とは、それまでに出た言葉を手がかりに次を予測するやり方のことです。ただし、すべての言語モデルが同じ作り方をしているとは限りません。ここから先は、この自己回帰型を前提に話を進めます。

文章ができるまでの4つの段階

自己回帰型のLLMが文章を作るときは、ざっくり4つの段階を踏みます。

「予測」の中身をのぞくと、確率の一覧が出てくる

AIの中では、次に来る言葉が「これだ」と1つに決まっているわけではありません。「晴れ：40%、雨：30%、曇り：20%、最高：5%……」というように、候補ぜんぶに確率が振られた状態が、いったんできあがります。これを確率分布と呼びます。

そのうえで、決められたやり方に従って1つを選びますが、選び方は主に2通りです。いちばん確率の高い候補を選び続ければ出力は安定しやすく、確率に従ってその都度選べば出力にばらつきが出ます。

ただし、設定が同じでも、処理する環境などの違いで、まったく同じ文章になるとは限りません。

使う場面

触っていて感じる、3つのモヤモヤの正体

「次の言葉を確率で選び、つなげていく」。この動きが分かると、AIを使っていて引っかかるところの多くに、説明がつきます。

1つめは、同じ質問なのに毎回ちょっと違う答えが返ってくることです。AIは、学習したパターンと会話の流れから文章を組み立てます。選び方に確率が絡むぶん、選ばれる言葉が変わり、文章全体も変わります。

2つめは、自信ありげに事実と違うことを書いてしまうことです。これはハルシネーションと呼ばれます。次の言葉を予測するだけでは、その内容が事実かどうかまでは確かめられません。検索や外部の情報を使う機能があっても、誤りをゼロにはできません。

3つめは、「もう少しカチッとさせて」「もう少し砕けた感じで」という頼み方が効く理由です。指示で文脈が変わると、次に来る言葉の確率そのものが変わります。「丁寧に」と伝えれば「ございます」が出やすくなり、「カジュアルに」と伝えれば「だよね」が出やすくなる、というわけです。

会話サービスの答えには、言語モデルだけでなく、追加学習や検索、外部ツールも影響します。まずは「多くのLLMは、次の言葉の予測を繰り返して文章を作っている」と覚えておけば十分です。ニュースを読むときも、使い勝手の話をするときも、迷わなくなります。

注意点

やってみよう

同じ質問を2〜3回投げてみる

ここまでで、「多くのLLMは次の言葉の予測を繰り返している」「自然な文でも、事実とは限らない」の2つがつかめれば十分です。次の記事では、もう一歩だけ踏み込んで、LLMが得意なジャンルと苦手なジャンルの見分け方を整理します。