本文へスキップ
なのはAI教室

パラメータ

この記事は約6分で読めます

ざっくり言うと

パラメータとは、AIモデルの中にある数値のことです。モデルが質問を受けて答えを組み立てるとき、この数値が使われます。

値は学習によって少しずつ調整され、モデルが見つけたパターンを反映します。調べた事実をそのまま覚えているわけではありません。

ニュースで聞く「700億パラメータのモデル」「1兆パラメータ超え」は、この数値の個数を指しています。パラメータの数は、モデルの規模感を示すものさしです。

ここで、ややこしい点をひとつ。AIの設定画面やAPIの説明にも「パラメータ」という言葉が出てきます。あちらは、答えのばらつきに関わる温度や、返す文字数の上限など、使う人が手元で変える項目のことです。この記事で扱うのは、モデルの中の数値のほうです。

イメージ

学習を終えたモデルを使うとき、つまみはすでに固定されています。私たちが質問を変えても、中の数値は動きません。

正確には

3つの出典は、パラメータを次のように説明しています。

出典説明していること
IBMモデルパラメータ（model parameters）を、学習の過程でデータから学び取るモデル内部の構成要素と定義。代表は重み（weights）とバイアス（biases）で、入力に対してどんな出力を返すかはこの値で決まる
Google Cloudパラメータを、学習中に変化していくモデル内の値と説明。新しい入力に対して予測を行うとき、モデルはこの値を使う
NVIDIALLMを深層学習モデルとして位置づけ、膨大なテキストデータで学習し数十億から数千億のパラメータを持つと整理

値を決めているのは、人ではなく学習

パラメータは、人が1つずつ手で書き込むものではありません。おおまかには、次の流れで決まっていきます。

  1. 学習を始めるための初期値を用意する
  2. 学習データで「予測 → 答え合わせ → ズレの修正」を繰り返す
  3. ズレが小さくなる方向へ、無数のパラメータを少しずつ自動で動かす
  4. まともな答えを返せる組み合わせにたどり着く

こうして、学習に使ったデータの傾向が、数値の並びとして残ります。

手元で変える設定値とは、別のもの

先ほどのまぎらわしい話を、ここで整理しましょう。同じ「パラメータ」という言葉が、答えを作るときの設定を指して使われることもあります。温度（Temperature）や、返す文字数の上限などです。

違いは、誰がいつ決めるかです。

どちらのパラメータか誰が決めるか使う人が変えられるか
モデル内部の数値（重み）学習の工程で自動的に決まるチャット画面からは変えられない
答えを作るときの設定値（温度など）使う人やアプリが決める対応していれば変えられる

内部の数値も、ファインチューニングのように追加で学習させれば調整できます。いつものチャットで質問を書き換えるだけでは、内部の数値は動きません。

「◯◯億」が表しているのは、規模の目安

「700億パラメータ」といった数字は、そのモデルがどれくらい大きいかを表すラベルとして使われます。一般に、数が多いほど次のような傾向が出てきます。

  • 表現できるパターンの幅が広がりやすい
  • 込み入った文脈を扱える余地が増える
  • 動かすのに必要な計算資源（GPU・メモリ）も増える

パラメータが多い=物知り、ではない

パラメータは、事実を1件ずつ保存した記録ではありません。何億個もの数値が、単語の選び方や文脈のつかみ方に効いているだけです。パラメータ数が多いモデルでも、知らない事実を正確に答えられるとは限りません。

注意点

「億」「兆」という数字のインパクトに目を奪われがちですが、実務で効いてくるのは自分の用途に合うかどうかです。

モデルを比べるときに見るところ

スペック表の数値だけでは、使い心地までは分かりません。気になるモデルが2つあるなら、同じ質問を両方に投げて、次の4点を並べてみてください。

  • 答えの正確さ
  • 返ってくるまでの速さ
  • 料金と、使ううえでの制限
  • 自分の仕事との相性

数字は入口です。最後の決め手になるのは、実際に使ったときの手ごたえです。

関連用語

やってみよう

よくある質問

Q. パラメータとは何ですか?
A. AIモデルの中にある数値のことです。モデルが質問を受けて答えを組み立てるときに使われ、値は学習によって少しずつ調整されて、モデルが見つけたパターンを反映します。
Q. 設定画面に出てくるパラメータとは違うのですか?
A. 別のものです。設定画面のほうは温度や返す文字数の上限など、使う人が手元で変える項目です。モデルの中の数値は学習の工程で決まり、チャット画面からは変えられません。
Q. パラメータが多いモデルほど賢いのですか?
A. そうとは限りません。性能は学習データの質と量、学習方法、ファインチューニングの工夫などがからんで決まります。小さくても特定の作業に強いモデルが多くあります。
Q. モデルを比べるときは何を見ればいいですか?
A. 数字は入口にすぎません。気になるモデル2つに同じ質問を投げて、答えの正確さ、返ってくる速さ、料金と使ううえでの制限、自分の仕事との相性を並べてみてください。

公開: 更新: ✓ 公式情報と照合:

参考ソース

判断クイズ

「◯◯億パラメータ」という数字を、どう受け止めればよいか分かりますか？

3問です。答えるとその場で解説が出ます。全問終えたら、「回答を記録する」で学習の記録に残せます。

問1. AIの設定画面に「パラメータを調整できます」と書かれていました
問2. 「1兆パラメータの新モデル」という見出しを見て、乗り換えようか迷っています
問3. パラメータ数の多いモデルに自社の創業年を聞いたら、具体的な年が返ってきました

全問に答えると、回答を記録できます。

残るのは「答えたかどうか」だけで、正解数は保存されません。この端末の中だけに残り、別の端末には引き継がれません。

この教科書は無料で全文公開しています。仕事で使えるところまで進みたい方は、実習と資料がそろった生徒プランをどうぞ。

生徒プランを見る(14日間無料)

あわせて読みたい