トークンとは？
AIが文章を処理するときの最小単位。単語より少し細かい「文字のかたまり」で、AIの料金や入力できる文章量はこのトークン数で数えられる。
AIは文章をそのまま読むのではなく、トークンという単位に刻んでから処理します。日本語はおおよそ1文字＝1〜2トークン程度。「このモデルは20万トークンまで扱える」「API料金は100万トークンあたり◯円」のように、AIの世界の“通貨”のような存在です。
実務では「長い資料を渡したら途中で切れた」「APIの請求が思ったより高い」といった場面で必ずこの概念に出会います。文章量＝トークン数がコストと限界を決める、と覚えておけば十分です。
トークン数の目安（日本語・英語）
ざっくりした換算表を持っておくと便利です。日本語はおおよそ1文字＝1〜2トークン、英語は1単語＝約1.3トークン。つまり400字の日本語ビジネスメールで500〜700トークン前後、A4資料1枚で1,000〜2,000トークン程度です。
同じ内容なら英語のほうがトークン数が少なく済むことが多い、というのも知っておくと役立つ豆知識です。AIの学習データに英語が多く、英語が効率よく刻まれるようにできているためです。
料金と入力上限にどう効くか
APIの料金表は「100万トークンあたり◯ドル」で書かれています。入力（読ませる量）と出力（書かせる量）で単価が違い、たいてい出力のほうが数倍高い。つまり「長い資料を読ませて短く要約させる」のは安く、「短い指示で長文を書かせる」のは高くつく構造です。
もうひとつがコンテキストウィンドウ（一度に扱える上限）で、これもトークン数で決まっています。「長い資料を渡したら途中で切れた」「会話が長くなったら最初の指示を忘れた」——どちらもトークンの上限が原因です。文章量＝トークン数がコストと限界の両方を決める、と覚えれば十分です。
トークナイザーとは
文章をトークンに刻む装置がトークナイザーです。モデルごとに刻み方の癖が違い、同じ文章でもトークン数は変わります。日本語の固有名詞が細切れにされたり、絵文字が意外と多くのトークンを食ったりと、刻まれ方はなかなか直感に反していて面白いところです。
百聞は一見にしかずで、実際に自分の文章がどう刻まれるかを見るのがいちばん理解が早いです。このページの下の扉から、その場で試せる体験ラボに入れます。
トークンのよくある質問
固定ではありません。日本語ならおおよそ1文字＝1〜2トークン、英語なら1単語＝約1.3トークンが目安です。正確な数はモデル（トークナイザー）ごとに変わります。
AIの内部処理の単位がトークンだからです。AIは文章を文字のまま読むのではなく、いったんトークン列に変換してから処理するため、計算量も料金も上限もすべてトークン数に比例します。
用語を覚えるより、ストーリーで体感するほうが早い。