量子化(Quantization)

ざっくり言うと

オープンソースのLLM(Llama など)を自分のPCで動かそうとすると、「4bit版」「8bit版」みたいな表記をよく見かけます。あれが量子化の結果物です。

イメージ

正確には

AIモデル(特にニューラルネットワーク)の中身は、何十億個もの「重み(パラメータ)」と呼ばれる数値で出来ています。普通、この数値は 32ビット浮動小数点数(FP32) や 16ビット浮動小数点数(FP16) という、細かい小数まで表現できる形式で保存されています。

量子化は、この数値をもっとビット数の少ない形式に変換する処理のことです。IBM の解説によると、量子化は「ニューラルネットワークの重みや活性化を、より低い精度の数値表現に変換することで、メモリ使用量と計算コストを削減する技術」と説明されています。

よく使われる精度

形式	ビット数	ざっくりの特徴
FP32	32ビット	学習時に使う標準的な精度。細かいが重い
FP16 / BF16	16ビット	推論時の定番。FP32 の半分のサイズ
INT8	8ビット	量子化の王道。サイズ約1/4、速度大幅向上
INT4 / 4bit	4ビット	さらに攻めた圧縮。個人PCでLLMを動かす定番

Hugging Face のドキュメントでも、LLM を一般的なハードウェアで動かす際の主要な手段として、8ビットや4ビットへの量子化が紹介されています。

なぜサイズと速度が変わるのか

ビット数が半分になれば、単純にファイルサイズも半分になります。FP32 から INT8 にすれば、約 1/4 のサイズです。70億パラメータのモデルが、FP16 なら約14GB のところ、4bit 量子化なら 約4GB に収まる、というのが典型的な例です。

さらに、計算するときも桁数が少ない方が速いのと同じで、CPU や GPU の処理速度も向上します。NVIDIA のような GPU メーカーが、INT8 や FP8 専用の計算回路をハードウェアに積んでいるのも、量子化を高速化するためです。

ただし、精度は少し落ちる

量子化の主な種類

ざっくり2つに分けられます。

• PTQ(Post-Training Quantization / 学習後量子化): すでに学習済みのモデルを後から圧縮する方式。手軽だが、精度低下が出やすい
• QAT(Quantization-Aware Training / 量子化対応学習): 学習時から「最終的に量子化する前提」で訓練する方式。手間はかかるが精度を保ちやすい

個人ユーザーがダウンロードする「4bit 版」「GGUF」「GPTQ」みたいなモデルは、ほぼ PTQ 系の手法で量子化されたものです。

よくある勘違い

どんなときに使う?

逆に「精度が最優先」のタスク(医療診断の補助、法律文書の正確な解釈など)では、量子化前のフルサイズモデルを使うか、慎重に検証してから採用するのが安全です。

確認のコツ

関連用語

• パラメータとは — 量子化が圧縮する対象。モデルの「中身の数値」のこと
• 推論(Inference)とは — 量子化が速度・コスト面で効いてくるフェーズ
• 蒸留(Distillation)とは — 量子化とは別アプローチの軽量化技術。大きいモデルから小さいモデルを学習させる方法

量子化と蒸留はどちらも「モデルを軽くする」技術ですが、やり方が違う仲間です。量子化が「数値の精度を落とす」のに対し、蒸留は「先生モデルの真似ができる小さい弟子モデルを作る」イメージです。

やってみよう

「自分のPCで AI を動かしてみたい」と思ったら、量子化は避けて通れない概念です。逆に言えば、量子化を知っているだけで、ローカルLLMの世界に一歩入る準備ができているということでもあります。