蒸留(Distillation)

ざっくり言うと

最近よく聞く「ミニ版モデル」「Lite版モデル」「Distilled版」みたいな名前のモデルは、たいていこの蒸留で作られています。

イメージ

正確には

知識蒸留は、Google の Hinton らが 2015 年に発表した論文「Distilling the Knowledge in a Neural Network」 で広く知られるようになった手法です。基本的なアイデアは、大きな教師モデル(Teacher)の出力を「お手本」として、小さな生徒モデル(Student)に学ばせるというものです。

IBM の解説では、知識蒸留は「より大きく複雑な教師モデルから、より小さくシンプルな生徒モデルへ知識を移転する機械学習の手法」と定義されています。目的は、精度をできるだけ保ったまま、モデルのサイズ・推論コスト・レイテンシを下げることにあります。

普通の学習と何が違う?

• 普通の学習: 「正解ラベル」だけを見て、生徒モデルが手探りで学ぶ
• 蒸留: 教師モデルが出した「確率分布つきの答え」を生徒が真似する

たとえば画像分類で「これは猫」と判定する時、教師モデルは内部で「猫90% / 犬7% / キツネ3%」のような確率を出しています。この「惜しい候補も含めた答え方の癖」までセットで真似させるのが蒸留の肝です。これにより、生徒モデルは正解ラベルだけを見るよりずっと効率よく学習できます。

主な3つのやり方

蒸留にはいくつかのバリエーションがありますが、ざっくり次の3つに分けられます。

手法	ざっくり何を真似する?
応答ベース(Response-based)	教師モデルの最終出力を真似する。最も基本的な方式
特徴ベース(Feature-based)	教師モデルの途中の層の状態まで真似する
関係ベース(Relation-based)	データ同士の関係性のとらえ方を真似する

蒸留と量子化の違い

最近の流れ:LLMの蒸留

最近は、ChatGPT や Gemini のような巨大な LLM を「先生」として、小さな LLM を学習させるアプローチが盛んです。Google Research が 2023 年に公開した「Distilling Step-by-Step」という手法では、大きなモデルが出す「考え方の手順(思考の根拠)」も合わせて生徒に学ばせることで、より少ない訓練データで小さなモデルが大きなモデルを上回るケースも報告されています。

「ミニサイズなのに高性能」というモデルが急に増えているのは、こうした LLM 向けの蒸留テクニックの進歩が背景にあります。

どんなときに使う?

逆に、未知のタスクや複雑な推論を幅広くこなしたい場合は、蒸留前の大きなモデルの方が安定します。蒸留モデルは「先生に教わった範囲」が一番得意で、外れたところでは精度が落ちやすい、という特徴があるためです。

関連用語

• パラメータとは — 蒸留で小さくしたいのは、このパラメータの数。生徒モデルは教師よりずっと少ないパラメータで動く
• 学習(Training)とは — 蒸留は学習のひとつの形。「教師の答えを真似する」学習方法
• 量子化(Quantization)とは — 蒸留と並ぶモデル軽量化の代表技術。中身の精度を粗くする別アプローチ

やってみよう

「AIをもっと身近な場所で動かしたい」というニーズが強まる中、蒸留はますます重要な技術になっています。大きいモデルの賢さを、小さいモデルにどう引き継ぐか——これが、これからの軽量AI時代のキーワードです。