COMIXAI吉川 聡史
しくみ・技術じょうりゅうKnowledge Distillation

蒸留(知識蒸留)とは?

DEFINITION — ひとことで言うと

大きく賢いAIモデル(教師)の振る舞いを、小さなモデル(生徒)に学ばせて性能を引き継ぐ技術。軽くて速くて安いAIを作る定番手法。

DIAGRAM — 図解
蒸留(知識蒸留)のしくみ図解大きいモデル教師:賢いが重いお手本を見せる小さいモデル生徒:軽い軽い速い安いスマホで動くローカルLLMの多くは、この技術の恩恵
大きいモデルの「答え方」をお手本に、小さいモデルを育てる

巨大モデルは賢いけれど、動かすのに大量の計算資源が必要です。そこで、大きいモデルの答え方を「お手本」として小さいモデルに学ばせると、サイズのわりに賢いモデルができます。ウイスキーの蒸留のように、エッセンスを濃縮して取り出すイメージです。

スマホやPCの上で動くローカルLLMの多くは、この技術の恩恵を受けています。一方で「他社の商用モデルの出力を勝手に教師にしていいのか」という利用規約・倫理の論点もあり、DeepSeekの登場時に世界的な議論になりました。技術としては地味ですが、AIの民主化を支える縁の下の力持ちです。

蒸留のやり方(仕組み)

手順の骨格はシンプルです。①賢い大型モデル(教師)に大量の問題を解かせて、模範解答集を作る。②その解答集を教材にして、小型モデル(生徒)を学習させる。生徒は正解だけでなく「教師の答え方の癖」——考え方の筋道や迷い方まで含めて吸収するため、単に正解データで学ぶより効率よく賢くなります。

家庭教師の板書をそのまま暗記するのではなく、解き方の思考プロセスごと教わるイメージです。教師が賢いほど、良い生徒が育ちます。

量子化・ファインチューニングとの違い

AIを「軽く・使いやすく」する技術は3兄弟で覚えると整理できます。蒸留=別の小さいモデルに賢さを写す(転校生を育てる)。量子化=同じモデルの数値精度を落として圧縮する(ダイエット)。ファインチューニング=既存モデルに追加学習して振る舞いを変える(研修)。

実際の軽量モデルは「蒸留で作って、量子化で絞る」のように組み合わせて作られることが多く、対立する技術ではありません。目的が「小さく賢く」か「軽く」か「専門化」かで使い分けます。

DeepSeekショックと蒸留の論点

2025年初頭、中国のDeepSeekが桁違いの低コストで高性能モデルを発表した際、「他社の商用モデルの出力を教師にした蒸留が使われたのでは」という疑惑が議論になりました。多くのAIサービスの利用規約は「出力を競合モデルの学習に使うこと」を禁じており、技術的にできることと、やっていいことの間に線があるわけです。

一方、自社モデルや許諾されたオープンモデルを教師にした蒸留は完全に正当な定番手法で、スマホで動く小型AIの多くはこうして生まれています。「蒸留=悪」ではなく「誰を教師にするか」が論点、と押さえておくとニュースが正しく読めます。

蒸留(知識蒸留)のよくある質問

Q.蒸留すると性能はどのくらい落ちますか?
A.

サイズを大幅に(例えば10分の1に)しても、対象タスクでは教師にかなり近い性能を保てるのが蒸留の売りです。ただし教師の知識全域は写せないため、範囲外のタスクでは差が出ます。

Q.自分でも蒸留はできますか?
A.

オープンモデルを教師にすれば技術的には可能で、手法も公開されています。ただし商用AIの出力を教師データにするのは利用規約違反になることが多いため、教師の選定だけは必ず規約を確認してください。

用語を覚えるより、ストーリーで体感するほうが早い。

役に立ったらシェア→𝕏 ポストB! ブックマーク