パラメータ
AIモデルの「パラメータ」を、脳の神経細胞のつながりに例えて超訳。数の多さがモデルの規模感を示すこと、そして“多ければ強い”とは限らない理由を、公式ソースに沿って小中学生でも分かるレベルに解説します。
ざっくり言うと
ニュースで「700億パラメータのモデル」「1兆パラメータ超え」と聞くのは、この数値の個数のこと。ざっくり「モデルの規模感」を表すものさしとして使われています。
イメージ
正確には
IBM の解説によると、モデルパラメータ(model parameters) とは「学習プロセスを通じてデータから学習される、モデル内部の構成要素」と定義されています。代表的なのは重み(weights) とバイアス(biases) で、これらが入力に対してどんな出力を返すかを決めます。
Google Cloud のドキュメントでは、LLM について「パラメータとは、学習中に変化していくモデル内の値であり、新しい入力に対して予測を行うためにモデルが使うもの」と説明されています。NVIDIA のグロッサリーでも、LLM は「膨大なテキストデータで学習され、数十億〜数千億のパラメータを持つ深層学習モデル」と位置づけられています。
パラメータは「学習で決まる」もの
ここが大事なポイントです。パラメータは人間が一つひとつ手で書き込むものではありません。
- 最初はランダムな値からスタート
- 大量のテキストデータを読ませて「予測 → 答え合わせ → ズレを修正」を繰り返す
- ズレが小さくなる方向に、無数のパラメータを少しずつ自動で動かす
- 最終的に、入力に対してまともな出力を返せる組み合わせが完成
つまりパラメータは、学習データを“しみ込ませた跡” とも言えます。
パラメータ数 = モデルの「規模感」
「◯◯億パラメータ」というフレーズは、そのモデルがどれくらい大きいかを表すラベルとして使われます。一般的に、パラメータ数が多いほど:
- 表現できるパターンの幅が広がりやすい
- 複雑な文脈を扱える余地が増える
- そのぶん動かすのに必要な計算資源(GPU・メモリ)も増える
よくある勘違い
よく出てくる関連用語との関係
| 用語 | パラメータとの関係 |
|---|---|
| 学習(training) | パラメータの値を決める工程そのもの |
| 重み(weights) | パラメータの代表選手。入力同士の結びつきの強さを表す数値 |
| ファインチューニング | 既存のパラメータを追加学習で微調整する作業 |
| 量子化(quantization) | パラメータの数値をざっくりした表現に圧縮してメモリを節約する技術 |
注意点
「億」「兆」という数字のインパクトに目を奪われがちですが、実務で使うときに効くのは“自分の用途に合うか”。スペック表の数値より、実際に同じプロンプトを投げて比べるほうが、よっぽど確かな判断材料になります。
確認のコツ
やってみよう
関連用語として、パラメータを「決める工程」である学習(training)、パラメータをぎっしり詰め込んでいる本体である LLM、内部構造を支える Transformer、パラメータを軽量化する技術である 量子化(quantization) もあわせて読むと、全体像がかなり立体的になります。
参考ソース
UPDATES
新着用語をLINEでお届け
新しい用語記事やAIの最新ニュース、仕事に役立つヒントをお届けします！
リンク先は、運営元の Nanoha AI Labo 公式LINEです。