量子化(Quantization)

ざっくり言うと

イメージ

正確には

AIの中身には、何十億個もの数値が並んでいます。この数値は重み（パラメータ）と呼ばれ、答えを出すときの判断のもとになります。

ふだん、この数値は32ビット浮動小数点数（FP32）や16ビット浮動小数点数（FP16）という形式で保存されています。細かい小数まで表せる代わりに、1つあたりの容量が大きい形式です。

量子化は、この数値をもっとビット数の少ない形式へ変換する処理です。IBMの解説では「ニューラルネットワークの重みや活性化を、より低い精度の数値表現に変換することで、メモリ使用量と計算コストを削減する技術」と説明されています。

ここでいう活性化とは、計算の途中で出てくる値のことです。つまり、覚えている数値だけでなく、計算しながら作る数値も対象になり得ます。

数値の細かさには段階がある

Hugging Faceのドキュメントでも、LLMを一般的なハードウェアで動かす際の主要な手段として、8ビットや4ビットへの量子化が紹介されています。

なぜ軽くなり、速くなることがあるのか

重みの部分だけを単純に計算すると、32ビットから8ビットで4分の1、16ビットから4ビットでも4分の1になります。

ただし、実際のファイルや動かすときのメモリが、その比率どおりになるとは限りません。量子化用の尺度（粗くするときの基準の値）やモデルの構造、キャッシュなども一緒に入るためです。

速さのほうは、動かす機械しだいです。低い精度の計算に対応した機械と実装なら、速度も消費電力も改善できます。対応が弱い環境では、変換の負担などで期待ほど速くならない場合があります。

答えの質は、自分の用件で確かめる

やり方は大きく2つ

• PTQ（Post-Training Quantization / 学習後量子化）：学習が終わったモデルへ、あとから適用する方式
• QAT（Quantization-Aware Training / 量子化対応学習）：量子化で生じる誤差を、学習中から見込んでおく方式

配布されているモデルの名前には、「GPTQ」「AWQ」といった言葉が付いていることがあります。これは量子化の方式や設定を示す名前です。「4bit」という表記は、数値の細かさを示します。

一方、GGUFはファイルの形式を表す名前です。GGUFと書いてあるだけでは、どこまで量子化されているかは決まりません。

よくある勘違い

量子化は、小さな別のモデルを新しく作ることではありません。元のモデルの中身を、少し粗い数値の表し方へ変える処理です。

ですから、軽くなっても得意分野そのものが別物になるわけではありません。元のモデルの性格をある程度は保ったまま身軽になる、とイメージしてください。

使う場面

どんなときに使う？

逆に、正確さが最優先の仕事では話が変わります。医療の診断を助ける場面や、法律の文書を正確に読み解く場面です。こうした用途では、量子化する前のフルサイズのモデルを使うか、慎重に検証してから採り入れてください。

選ぶ前に、自分の質問で試す

量子化版を選ぶときは、「動くかどうか」だけで決めないでください。同じ質問をフルサイズ版と量子化版の両方へ投げて、返ってきた答えを見比べてください。

見るところは3つです。要約が元の話からずれていないか、簡単な計算が合っているか、人名や社名などの固有名詞が正しいか。この3つを追うと、質の落ち具合の見当がつきます。

関連用語

• パラメータ — モデルの中身にある、答えを左右する数値のことです。量子化が粗くするのは、この数値の表し方にあたります。
• 推論 — 学習を終えたAIが、実際に答えを出す工程のことです。量子化の効果は、この場面で速さや費用として表れます。
• 蒸留（Distillation） — 大きなモデルをお手本にして、小さなモデルを育てる軽量化の技術です。量子化とはやり方が違う、もうひとつの選択肢にあたります。

量子化と蒸留は、どちらもモデルを軽くする技術です。違うのは軽くし方で、量子化は数値の細かさを落とし、蒸留は大きなモデルの答え方をまねる小さなモデルを育てます。

やってみよう