AIモデルの中にある「調整つまみ」の数。7B(70億)、70B(700億)のように表され、多いほど賢くなりやすいが、動かすのも重くなる。
AIの学習とは、この膨大なつまみを少しずつ回して「良い答えが出る位置」を探す作業です。人間の脳のシナプスの強さに例えられることが多く、パラメータ数はモデルの「脳の大きさ」の目安になります。
モデル名の「7B」「70B」はパラメータ数(Bは10億=Billion)。数が多いほど高性能な傾向がありますが、そのぶんGPUのメモリを食い、料金も高くなります。最近は「小さくても賢い」モデルづくりが競争の主戦場で、蒸留や量子化(それぞれの項を参照)といった軽量化技術が注目されています。
傾向としては賢くなりますが、データの質や訓練方法しだいで逆転も起きます。近年は小型で高性能なモデルの進化が著しく、「大きさ=賢さ」の等式は崩れつつあります。
BはBillion(10億)です。7Bなら70億個のパラメータ(モデル内の調整つまみ)を持つ、という意味になります。
用語を覚えるより、ストーリーで体感するほうが早い。