COMIXAI吉川 聡史
LAB — トークナイザー体験

AIは、文章をこう読む。

AIは文章を1文字ずつではなく、トークンという単位に刻んで読んでいます。 下の箱に文章を打つと、GPT系のAIが実際に使っているトークナイザーが、その場であなたの文章を刻みます。 入力した文章はどこにも送信されません(すべてブラウザ内で完結)。

お手本:
AIにはこう見えている トークナイザーを準備中…

初回だけ少し時間がかかります(数MBの辞書を読み込み中)

トークン数
0
AIが読む単位
文字数
0
人間が読む単位
1トークンあたり
日本語は英語より少なめ

この文章、料金にすると?

AIの料金は「トークン数 × 単価」。1回では小さくても、業務で1万回送ると差が出ます。

Claude SonnetAnthropic
/ 1回
1万回なら
GPT-4oOpenAI
/ 1回
1万回なら
Gemini 2.5 FlashGoogle
/ 1回
1万回なら

※2026年7月時点の入力単価の参考値(1ドル155円換算)。実際の料金は各社の最新の料金表をご確認ください。

AIの「作業机」をどれだけ使う?

AIが一度に覚えていられる上限がコンテキストウィンドウ。この文章が机をどれだけ占めるか見てみましょう。

Claude Sonnet机の広さ 200Kトークン0%
GPT-4o机の広さ 128Kトークン0%
Gemini 2.5 Flash机の広さ 1,000Kトークン0%

何か打つと、机の埋まり具合が動きます

触ってわかる3つのこと
  • 「ある」「ところ」のようなよく出る並びはまとめて1トークンになる(頻出パターンほどお得)
  • 絵文字や珍しい漢字は1文字で2〜3トークン使うことがある(×2 がつくチップ)
  • 同じ内容でも英語のほうがトークン効率が良いことが多い。日本語は少し贅沢な言語
トークンとは? コンテキストウィンドウとは? AI用語力診断に挑戦