LLM(大規模言語モデル)

ざっくり言うと

イメージ

予測している単位は、単語とは限りません。トークンと呼ばれるかたまりで、文字だったり、単語の一部だったり、記号だったりします。

ですから「次の単語を当てるモデル」よりも、「次のトークンを予測するモデル」と言うほうが正確です。

正確には

IBMとGoogle Cloudは、LLMを大量のデータで学習した深層学習モデルとして説明しています。自然言語の処理や生成などを行うモデル、という位置づけです。NVIDIAも、Transformerを土台にした深層学習モデルとして整理しています。

主流のLLMでは、2017年に発表されたTransformer系の構造が広く使われています。

「大規模」は、何が大きいのか

ふつうは、パラメータの数、学習に使ったデータ、学習にかけた計算量の規模を指します。パラメータというのは、モデルの中にある調整つまみのようなものです。

ただし「何パラメータ以上ならLLM」という共通の線引きはありません。数を公開していないモデルもあります。そして、数が大きいほど必ず性能も高い、というわけでもありません。

仕上がりを左右するのは規模だけではありません。データの質、設計、学習のやり方、答えを出すときの処理、どんな課題で評価するかによっても変わります。大きければどんな用途でも優秀、というわけにはいきません。

Transformerとの関係

Transformerは、Attentionという仕組みを中心にしたニューラルネットワークの構造です。並んだデータの中で、どこがどこと関係しているかを扱います。

いまのLLMの多くはTransformer系です。ただし、LLMは規模と用途による分類で、Transformerは内部の構造の名前です。指しているものが違います。

画像や音声はどうなるのか

LLMという言葉が指すのは、言語のモデルです。ただ、AI製品やモデルの中には、画像・音声・動画まで扱うものもあります。

言語を扱う中核に、画像や音声の処理を組み合わせた仕組みは、マルチモーダルAIと呼ばれます。

ですから「LLMは文字しか入力できない」と製品全体にまで広げて言うのは、正確ではありません。何を入力できて何を出力できるかは、使うモデルと製品の公式ページで確かめてください。

使う場面

LLMを使うときにやること

提案書や見積書で気をつけたいのが、「自社専用LLM」という言い方です。

自社で基盤モデルから学習した場合だけでなく、既存モデルへのファインチューニング、RAG、専用の指示、閉じた環境での運用を指していることがあります。何を専用にしたのかを、その場で聞いてみてください。

モデルを比べるときに見るところ

LLMの良し悪しは、1つの数字では決まりません。使う場面に合わせて、いくつかの観点で見ます。

• 使いたい言語や分野で、答えが正確か
• 指示や出力の形式を守れるか
• 一度に入力できる長さと、出力の上限は足りるか
• 返ってくる速さ（レイテンシー）と、こなせる量は足りるか
• 料金、使える地域、データの取り扱いは条件に合うか
• 必要なツールや、入力と出力の形式に対応しているか

よく見かけるベンチマークで高い点をとっていても、自分の会社の文書や作業に合うとは限りません。実際に使う入力と、採点の基準を先に用意してください。そのうえで、品質・速さ・費用を同じ条件で比べましょう。

注意点

LLMだけではできないこと

LLMができるのは、渡された文脈に応じて文章やコードを出すところまでです。

データベースの更新、メールの送信、Web検索、機器の操作は、文章を作る処理とは別ものです。実際に動かすには、ツール、API、権限、確認の手順を組み合わせます。

関連用語

• GPT — チャットAIのChatGPTを支える、OpenAIのモデルのシリーズ
• Transformer — 主流のLLMの土台になっている構造
• トークン — モデルが文章を処理するときの単位
• 学習 — モデルのパラメータを調整する工程
• コンテキストウィンドウ — 一度の処理で扱える文脈の広さ
• RAG — 外部の情報を検索して回答に渡す方法

やってみよう