蒸留（知識蒸留）とは？

大きく賢いAIモデル（教師）の振る舞いを、小さなモデル（生徒）に学ばせて性能を引き継ぐ技術。軽くて速くて安いAIを作る定番手法。

巨大モデルは賢いけれど、動かすのに大量の計算資源が必要です。そこで、大きいモデルの答え方を「お手本」として小さいモデルに学ばせると、サイズのわりに賢いモデルができます。ウイスキーの蒸留のように、エッセンスを濃縮して取り出すイメージです。

スマホやPCの上で動くローカルLLMの多くは、この技術の恩恵を受けています。一方で「他社の商用モデルの出力を勝手に教師にしていいのか」という利用規約・倫理の論点もあり、DeepSeekの登場時に世界的な議論になりました。技術としては地味ですが、AIの民主化を支える縁の下の力持ちです。