トークンとは？

AIが文章を処理するときの最小単位。単語より少し細かい「文字のかたまり」で、AIの料金や入力できる文章量はこのトークン数で数えられる。

AIは文章をそのまま読むのではなく、トークンという単位に刻んでから処理します。日本語はおおよそ1文字＝1〜2トークン程度。「このモデルは20万トークンまで扱える」「API料金は100万トークンあたり◯円」のように、AIの世界の“通貨”のような存在です。

実務では「長い資料を渡したら途中で切れた」「APIの請求が思ったより高い」といった場面で必ずこの概念に出会います。文章量＝トークン数がコストと限界を決める、と覚えておけば十分です。