量子化とは？

AIモデルの数値の精度をあえて落として、サイズと計算量を数分の1に圧縮する技術。手元のPCでローカルLLMを動かせるのはこれのおかげ。

モデルの中の数値を「小数点以下16桁」から「4桁」くらいに丸めるイメージです。音楽をWAVからMP3にするのと同じで、少し質は落ちるがサイズは劇的に小さくなる。70Bの巨大モデルが家庭用PCで動くのは、たいてい量子化版だからです。

「量子コンピュータ」とは無関係なのが名前の罠（変換の段階を量子=quantumと呼ぶ数学用語から）。ローカルLLM界隈でファイル名に付くQ4やQ8は量子化の度合いで、数字が小さいほど軽いが粗い。まず Q4 で試して、物足りなければ上げるのが定番の遊び方です。