COMIXAI吉川 聡史
基礎知識ぱらめーたParameter

パラメータとは?

DEFINITION — ひとことで言うと

AIモデルの中にある「調整つまみ」の数。7B(70億)、70B(700億)のように表され、多いほど賢くなりやすいが、動かすのも重くなる。

DIAGRAM — 図解
パラメータの図解7Bつまみ70億個70Bつまみ700億個軽い・速い・安い賢い・重い・高い学習=膨大なつまみを回して「良い答えが出る位置」を探すこと
パラメータ=AIの中の調整つまみ。数が「脳の大きさ」の目安

AIの学習とは、この膨大なつまみを少しずつ回して「良い答えが出る位置」を探す作業です。人間の脳のシナプスの強さに例えられることが多く、パラメータ数はモデルの「脳の大きさ」の目安になります。

モデル名の「7B」「70B」はパラメータ数(Bは10億=Billion)。数が多いほど高性能な傾向がありますが、そのぶんGPUのメモリを食い、料金も高くなります。最近は「小さくても賢い」モデルづくりが競争の主戦場で、蒸留や量子化(それぞれの項を参照)といった軽量化技術が注目されています。

用語を覚えるより、ストーリーで体感するほうが早い。