生成AI(GenAI)の仕組み

ざっくり言うと

イメージ

ですから「生成AIはすべて次の言葉を予測している」とは言えません。何を出力するのか、どう設計されたモデルなのかで、作り方は変わります。

正確には

生成AI（Generative AI / GenAI）は、入力に応じて文章・画像・音声・動画・コードなどを新しく作るAIです。IBMとGoogle Cloudの解説でも、学習したパターンにもとづいて新しい内容を生成する技術として説明されています。

総務省の『令和5年版 情報通信白書』にも、生成AIは「学習したデータをもとに新しいデータを生成するAI」と書かれています。文章生成の代表例として挙げられているのが、大規模言語モデル（LLM）です。

AIを作るときと、私たちが使うとき

生成AIの話は、モデルを作る段階（学習）と、できあがったモデルが答えを作る段階（推論）に分けると見通しがよくなります。実際の開発では、最初の学習に加えて、追加の学習・評価・調整も行われます。

ふだんは、質問を1回送るたびに土台のモデルが学び直す、というわけではありません。

ただし、答えを作るときにWeb検索や社内文書検索（RAG）、外部ツールを組み合わせるサービスもあります。その場合は、学習が終わったあとに出た情報も材料にできます。

モデルは、事実を1件ずつ探しているわけではありません

言語モデルは、学習したデータにある言葉の並びや関係を、モデルの重み（学習でできあがった膨大な数値）として蓄えます。ただしモデル単体では、聞かれた事実をデータベースから一件ずつ探して返しているわけではありません。

たとえば有名な小説のあらすじを聞くと、それらしい説明が返ってきます。これは多くの文章からパターンを学んでいるからです。教科書を開いて、該当ページを読み上げているわけではありません。

言葉を1つ足しては、また考える

多くのLLMが文章を作る流れは、ざっくり書くとこうなります。

1. 入力された文章（プロンプト）を、トークンという細かい単位に分ける
2. 次に来るトークンの候補それぞれについて、確率を計算する（例： 「犬」70%、「猫」20%、「鳥」5%……）
3. その中から1つに決める（いちばん確率の高いものに決めることもあれば、少しランダムに揺らすこともある）
4. 選んだトークンを文の末尾に足して、また2に戻る
5. 文章の終わりが来るまで、これをひたすら繰り返す

OpenAIの公式説明でも、ChatGPTを支えるモデルは文脈に続く可能性の高い語を順に予測して応答を作る、とされています。実際に扱う単位は、単語と完全には一致しないトークンです。

難しい仕事までこなせるのは、なぜ？

性能を決めるのは、学習したデータの量だけではありません。モデルの構造、学習のやり方、あとからの調整、そのとき使える文脈や外部ツールも効いてきます。これらが重なって、要約・翻訳・コード生成といった力が生まれます。

一方で、文章が流ちょうなことは、人間と同じように理解している証明にはなりません。事実として正しいという保証にもなりません。

「分かっているのか、いないのか」を一言で決めつけるより、できることを実際に確かめるほうが役に立ちます。そのうえで、大事な出力は根拠まで見に行ってください。

注意点

やってみよう

締めに

仕組みが分かると、AIの得意なこと（下書き・要約・翻訳）と苦手なこと（裏取りのいる事実）を見分けやすくなります。「生成AIは、学習したパターンから新しい内容を作る」。まずはこれだけ覚えておけば十分です。

「次の言葉を選ぶ」ところをもう一段のぞきたい方は、同じ章のLLMとは何かの記事と、LLMが次の言葉を予測する仕組みの記事へ進んでみてください。