蒸留(Distillation)

ざっくり言うと

イメージ

正確には

知識蒸留が広まったきっかけは、2015年にHintonらが公開した『Distilling the Knowledge in a Neural Network』という論文です。この論文は、複数のモデルの予測をまとめた教師の知識を、扱いやすい1つのモデルへ圧縮する方法を示しました。

一般には、教師モデルのふるまいを手がかりにして別の生徒モデルを学習させ、目的の作業に合わせて性能と必要な計算量のつり合いを取ります。

ふつうの学習と、どこが違う？

• 通常の教師あり学習
  人が用意した正解の札（ラベル）を主に使って学びます
• 古典的な蒸留
  教師モデルが出した確率つきの答えも手がかりにします

たとえば、写真に写っているのが猫かどうかを見分ける場面です。教師モデルは、猫90% / 犬7% / キツネ3%のように、迷いの度合いまで数字で出せます。この惜しい候補も含めた答え方を学ばせる点が、Hintonらの方法の要点です。

ただし、その後に登場した蒸留のやり方はさまざまです。最終的な確率だけでなく、教師が作ったラベルや回答、説明、途中の計算結果を使う方式もあります。

何をお手本にするかで3通り

蒸留の設計にはいろいろな形があります。代表的なものを、お手本にする対象で分けると次の3つです。

量子化との違い

量子化（Quantization）も、モデルを軽くする技術です。ただし、やり方は蒸留と根本から違います。

親方の話に戻すと、量子化は同じ親方が手数を減らして少し粗く握ることです。蒸留は、弟子を育てて別の店を出すことにあたります。

最近の流れ：LLMを教師にする蒸留

大きなLLM（大量の文章から言葉のつながりを学んだAI）を教師にする方法も研究されています。答えの例やラベルを作らせて、用途を絞った小さなモデルを育てるやり方です。

Google Researchが公開したDistilling Step-by-Stepは、その一例です。教師のLLMが言葉で書いた理由づけまで、追加の手がかりに使います。

論文では、4つの言語処理ベンチマーク（共通の性能テスト）で検証しています。その一例として挙がるのが、770MパラメータのT5です。少ない例を見せて使った540BパラメータのPaLMを、この小さいモデルが上回ったと報告されています。

ただし、これは特定の実験条件での結果です。小さいモデルがいつでも大きいモデルより高性能、という意味ではありません。

使う場面

どんなときに使う？

蒸留したあとの実力は、教師と生徒の作り、学習データ、蒸留のやり方、そして何の作業で測るかによって変わります。小さいから劣る、大きいから必ず安定する、と名前やサイズだけで決めないでください。自分が実際に使うデータに近いもので、見比べてみましょう。

選ぶときのコツは、速さと、外したときに困る度合いを分けて見ることです。下書き、仕分け、定型の返信のように、あとから直せる仕事なら軽量版で足ります。契約書の確認や込み入った推論のように、間違うと困る仕事では、大きなモデルや人の目を組み合わせてください。

関連用語

• パラメータ — モデルの中で調整される数値のことです。蒸留で減らしたいのがこの数で、生徒モデルは教師よりずっと少なく済みます
• 学習（トレーニング） — データからルールを覚えていく工程です。蒸留も、その一種にあたります
• 量子化（Quantization） — 中の数値を粗くして軽くする、もうひとつの代表的な軽量化技術です

やってみよう