AIの蒸留（Distillation／知識蒸留）とは、すでに学習したAIモデルを「先生」にして、別のAIモデルを「生徒」として学習させる技術です。 大きなモデルの答え方を参考に、特定の仕事が得意で、より少ない計算資源でも動かしやすいモデルを作る目的で使われます。

ただし、大きなモデルのデータをそのまま圧縮することではありません。 生徒モデルは、お手本を使って学び直します。得意なことや間違える場面は、教師と同じになるとは限りません。「Mini」「Lite」「Flash」「Haiku」といった名前だけで、蒸留で作られたかどうかも判断できません。

この記事では、寿司屋の親方と弟子の例えを使い、蒸留の仕組み、量子化・ファインチューニングとの違い、実際の研究、軽量モデルの選び方を説明します。2026年10月15日に確認した研究論文・開発元の公式資料をもとに整理しました。

ざっくり言うと

知りたいこと答え
蒸留とは？教師モデルの出力や内部表現などを手がかりに、生徒モデルを学習させること
なぜ使う？ある仕事に必要な性能を保ちながら、メモリ・推論コスト・待ち時間を抑えたいから
教師の中身をコピーする？いいえ。お手本に近づくよう別のモデルを学習させる
量子化との違いは？量子化は主に数値を低精度で表す。蒸留は教師の知識を使って学習する
ファインチューニングとは別物？蒸留はファインチューニングを利用する場合もあり、両者は組み合わせられる
「Mini」なら蒸留済み？名前だけでは不明。モデルカードや技術資料が根拠
小さいモデルは必ず速い？いいえ。実際の機器、入力の長さ、実装方法などで変わる

覚えるポイントは「軽くするために、教師の答え方を手本に学ぶ」ということです。

イメージ

1. 寿司屋の親方と弟子でイメージする

寿司屋の親方と弟子の例えで考えましょう。

  • 親方（教師モデル）
    多くの料理を作り、味や手順を判断できる熟練者。扱える仕事は幅広い一方、店の設備や人手も必要です。
  • 弟子（生徒モデル）
    親方の握り方や判断をお手本にして練習する人。得意な寿司に仕事を絞れば、小さな店でも役立つ技術を身につけられます。

弟子が親方の頭の中を丸ごとコピーするわけではありません。同じ材料を使って練習し、親方の判断に近い結果を出せるように育てるということです。

AIでも、すでに能力のある教師モデルの出力を使い、別の生徒モデルを学習させます。生徒は教師より小さく設計することが一般的ですが、研究では同じ程度の規模のモデルや、ほかの構成も使われます。

この例えには限界があります。AIに人間のような修業経験や意思があるという意味ではありません。また、弟子が親方のよいところだけを必ず引き継ぐわけではなく、間違ったお手本をまねる可能性もあります。

正確には

2. 蒸留では、何をお手本にして学習するの？

一般的な知識蒸留は、次のような流れで進みます。

  1. 教師モデルを用意する。 対象の作業に十分な性能があるか、先に確かめます。
  2. 学習に使う入力を用意する。 実際の仕事に近い文章・画像・質問などを集めます。
  3. 教師のお手本を得る。 教師が出す答え、予測の分布、必要に応じて途中の特徴などを記録します。
  4. 生徒モデルを学習させる。 生徒の出力が教師のお手本に近づくよう、学習中の数値を調整します。
  5. 独立した問題で評価する。 正確さ、苦手な問題、速度、必要なメモリや費用を測り、採用するか決めます。

ここでいう学習は、モデル内部の数値（パラメータなど）を更新する工程です。チャットで「覚えて」と頼んだり、教師の回答をコピーして貼ったりするだけでは、通常この蒸留を実施したことにはなりません。

「正解の札」だけでなく、迷い方もヒントになる

動物の写真を分類する例で考えてみましょう。

画像を分類する教師モデルが、仮に次の確率を出したとしましょう。

教師モデルの候補予測確率（説明用）
猫90%
犬7%
キツネ3%

普通の正解ラベルとして「猫」だけを教える場合、生徒が受け取る情報は一つです。

一方、教師の予測分布も見せれば、猫が最も有力で、犬やキツネの可能性も低いながら異なっているという判断の傾向まで、お手本にできます。このような分布はソフトターゲット（soft targets）と呼ばれます。

2015年にGeoffrey Hintonらが発表した研究は、こうした教師側の予測情報を学習に利用する知識蒸留を広く知られるものにしました。

※上記の90%・7%・3%は、仕組みを説明するための架空の数値です。特定のモデルに実際の写真を判定させた結果ではありません。また、教師が出した確率は正解そのものではありません。

3. お手本の使い方には、いくつか種類がある

蒸留の方法は一つではありません。お手本にする情報によって、代表的には次のように分けられます。

方法主にまねるものイメージ
応答ベース（Response-based）教師が出した答え・予測確率など親方が握った寿司と同じ仕上がりを目指す
特徴ベース（Feature-based）教師の計算途中にある表現親方の手の使い方や途中の判断も参考にする
関係ベース（Relation-based）データ同士の距離・似かたなどどの材料を似た種類と考えるかを学ぶ
生成した説明を使う方法教師が書いた答えと説明・理由づけ最終的な答えだけでなく、手順の説明も教材にする

応答ベースや特徴ベースはNVIDIAの公式技術資料でも紹介され、関係ベースについてはCVPR 2019の研究などがあります。

最後の「生成した説明を使う方法」は、ほかの分類と必ず排他的な別方式ではありません。教師が作った説明文を、追加のお手本として組み合わせる場合があります。

また、AIが出した理由づけの文章が、教師モデル内部で実際に行った計算を完全に再現しているとは限りません。説明文を教材に使うときも、内容の正確さは検証が必要です。

4. どこまで性能を引き継げる？実際の研究例

2015年：大きな教師の予測を、生徒へ伝える

Hinton、Vinyals、Deanは2015年に知識蒸留の論文を公開しました。題名は「ニューラルネットワークの知識を蒸留する」という意味です。

Distilling the Knowledge in a Neural Network（ニューラルネットワークの知識を蒸留する）。複数のモデルを組み合わせた教師の知識を、扱いやすい一つのモデルへ移す方法などを研究しました。

複数の大きなモデルをそのまま稼働させず、より扱いやすいモデルへ能力を移せないかという課題が、知識蒸留の代表的な出発点です。

2023年：小さなモデルが大きなモデルを上回った条件もある

Google Researchは「Distilling Step-by-Step」という方法を検証しました。教師となる大規模言語モデル（PaLM）が生成した回答を使います。さらに、理由づけの文章も学習用の手がかりにする方法です。

その研究では、770M（7億7,000万）パラメータのT5が、特定の自然言語処理テストで540B（5,400億）パラメータのPaLMの比較結果を上回ったと報告しています。該当テストでは、利用可能なデータの80%を使った実験結果です。

ただし、比較対象は特定のテスト・入力方法・学習条件です。ここから「小さなAIのほうが常に正確」「あらゆる仕事で大きなAIに勝てる」と結論づけることはできません。

思いどおりに引き継げないこともある

Google Researchが2021年に発表した別の研究は、知識蒸留をしても、教師と生徒の予測分布に思いのほか大きな差が残る場合があると報告しています。

生徒モデルを評価するときは、教師に似た答えを出すかだけでなく、実際の正解に合っているかも確認する必要があります。

5. 蒸留・量子化・ファインチューニングの違い

モデルを小さくしたり、目的に合わせて調整したりする方法には似た言葉があります。

方法何をする？モデルを学習させ直す？
蒸留（Distillation）教師の出力・表現などを手本に、生徒を学習させるはい
量子化（Quantization）モデルの数値を少ないビット数で表し、メモリの使用量などを抑える必須ではない
ファインチューニング学習済みモデルを、特定用途の追加データで調整するはい
枝刈り（Pruning）重みや構造の一部を削り、計算負担を減らす手法による。再調整する場合もある
RAG（検索拡張生成）回答する際、外部資料を検索して参照する通常はモデル自体を再学習しない

「蒸留」と「量子化」は別の技術

寿司屋の例えに戻ると、次のように考えられます。

  • 蒸留
    親方の判断を手本にして、別の弟子を育てる。
  • 量子化
    すでに学んだ料理人の道具を、より少ない容量で扱える形に変える。

量子化では、一般に学習済みモデルの重みや計算値を低精度の形式へ変えます。蒸留のように教師モデルの出力をお手本にすることが、必須条件ではありません。

蒸留した生徒モデルを、さらに量子化することもできます。 ただし両方を行ったからといって、必ず同じ性能を保ったまま速度が上がるとは限りません。

「蒸留」と「ファインチューニング」は組み合わせられる

ファインチューニングは、学習済みモデルへ追加の調整を行う方法です。一方、蒸留は何を教師のお手本として学ぶかに注目した技術です。

そのため、教師モデルが作った回答を学習データとして使い、生徒モデルをファインチューニングすることも、蒸留の一つの実施方法です。

OpenAIも2024年のモデル蒸留の紹介で、高性能モデルの出力を使って、より小さなモデルをファインチューニングする流れを説明しています。これは技術の実例であり、当時の製品や料金が2026年も同じ条件で提供されていることを保証するものではありません。

6. 蒸留が役立つ場面と、気をつけたい限界

蒸留は、大きなモデルを使うたびにかかる処理時間や費用を下げたい場合に検討されます。

たとえば、こんな仕事

  • 問い合わせを種類ごとに分ける
    「配送」「返品」「支払い」など、決まった種類に分類する。
  • 短い文章の下書きを大量に作る
    確認できる材料から決まった形式の説明文を生成する。
  • スマホ・小型端末で動かす
    メモリや計算量に制約のある環境へ組み込みたい。
  • 社内の定型処理を自動化する
    決まった形式の情報抽出やタグ付けを繰り返す。

ただし、小型の生徒モデルなら必ずスマホでオフライン動作する、という意味ではありません。端末のメモリ、モデルの構造、専用の実行環境などが必要です。

また、小さいモデルの推論が必ず速い・安いわけでもありません。利用するGPU・CPU、通信、処理する文章の長さ、モデルの提供料金によって結果が変わります。

教師の間違いを引き継ぐ可能性

教師モデルが誤った分類や不正確な回答をした場合、それを学んだ生徒にも誤りが残る可能性があります。教師が自信を持って書いた文章を、すべて正解のデータとして扱わないことが重要です。

さらに、教師の出力を学習に使えるかどうかにはサービスの利用規約、データの利用権限、個人情報、著作権などの確認も必要です。「APIで回答を取得できる」ことと「その回答を別モデルの学習に利用できる」ことは、同じ許可とは限りません。

性能を見るときは3つを分ける

比較するもの実際に確かめること
回答品質正答率、取りこぼし、誤分類、必要な条件や数字が合っているか
速さ最初の応答、最後までの処理時間、混雑時の安定性
費用・資源1件あたりの費用、使用メモリ、使う機器、開発・学習の負担

性能だけ、価格だけで採用しないことが大切です。特に契約・医療・法律など、誤りの影響が大きい仕事では、モデルが大きくても小さくても、人や正式資料による確認が必要です。

7. 蒸留されたモデルを見分けるには？

軽量版のモデル名には、「Mini」「Lite」「Flash」「Haiku」など、コンパクトさや高速さを連想させる名前が使われることがあります。

しかし、名前やパラメータ数だけで「蒸留した」とは分かりません。 軽量化には、量子化、枝刈り、もともと効率のよいモデル設計など、さまざまな方法があります。

実際のモデルを選ぶ場合は、次の順番で確認します。

  1. 公式資料を見る。 提供元のモデルカード、技術レポート、公開論文に「Distillation」「Teacher」「Student」などの説明があるか探す。
  2. 記載がなければ断定しない。 「軽い」「miniと書いてある」だけなら、蒸留の有無は非公開・不明として扱う。
  3. 同じ問題で比較する。 たとえば実際の問い合わせ文を20件ほど用意し、教師候補と軽量モデルに同じ分類ルールで答えてもらう。
  4. 人が正解を確認する。 一致率だけでなく、両方が同じ間違いをしていないか確かめる。
  5. 応答時間と料金も測る。 品質が必要な基準を満たすなら、導入する価値があるか比較する。

この比較はモデル選びの練習です。同じ答えを出すだけでは、それが蒸留で作られたモデルだという証拠にはなりません。

開発者でない場合は、蒸留を自分で実施する必要はありません。まずは利用できる軽量モデルと高性能モデルを比べて、自分の作業に十分な品質かどうかを見るだけでも役立ちます。

よくある質問

やってみよう

判断クイズ

第1問

「Mini」という名前のAIを見つけました。説明には軽くて速いとありますが、学習方法は書かれていません。正しい判断は？

  • A. Miniと書いてあるので、必ず知識蒸留で作られたモデルだと判断する。
  • B. 名前だけでは蒸留の有無は分からないので、モデルカードや技術資料を確認する。
  • C. 軽量モデルには量子化が使われることがないと考える。

第2問

写真を分類する大きな教師モデルが、猫90%・犬7%・キツネ3%と予測したとします。これを蒸留に使うとき、どんな利点がありますか？

  • A. 「猫」という答えだけでなく、ほかの候補への確率の分布も学習の手掛かりにできる。
  • B. 教師が90%と書いたなら、実際の写真も必ず猫だと証明される。
  • C. 生徒は教師の全パラメータを、そのままコピーしなければならない。

第3問

会社で使う問い合わせ分類AIを軽くしたいと考えています。蒸留版と大型モデルを比べるとき、適切なのは？

  • A. 生徒モデルのファイルが小さければ、性能や速度の確認は不要だと考える。
  • B. 教師モデルと同じ答えが出たら、両方が間違えていても気にしない。
  • C. 実務に近い問題で正誤を調べ、処理時間・費用・メモリも比較する。

あわせて読みたい

締めに

まとめ

蒸留（知識蒸留）は、教師モデルの出力や特徴を使い、生徒モデルを学習させる技術です。親方と弟子のように、教師の能力をすべてコピーするのではなく、必要な仕事をできるだけ小さなモデルでも行えるようにすることを目指します。

量子化は数値の精度を変える方法で、蒸留とは別です。一方、ファインチューニングを使って蒸留することもあり、複数の軽量化方法を組み合わせる場合もあります。

「名前で推測せず、公式資料で学習方法を確認し、自分の用途で品質・速さ・費用を比べる」ことが、軽量モデルを選ぶときの基本です。