トークンって何?

ざっくり言うと

ChatGPT・Claude・Gemini などの料金表に「100万トークンあたり◯ドル」と書かれているのを見たことがあるかもしれません。あの「トークン」の正体がこれです。

イメージ

正確には

OpenAI のヘルプセンターでは、トークンは「文章の一部(common sequences of characters)」と説明されています。英語の場合の目安として、1 トークン ≒ 約 4 文字、もしくは 1 単語の約 3/4 と紹介されています(目安なので、単語によって前後します)。

Anthropic の公式ドキュメントでも、トークンは「LLM が読み書きする最小単位」と位置づけられており、文字・単語のかけら(subword)・句読点など、モデルごとに決まったルールで切り分けられる、と説明されています。

Google AI(Gemini)の公式ドキュメントでも、入力テキストはトークンに変換されてからモデルに渡され、入力トークン数と出力トークン数の合計が料金やコンテキストの上限に効いてくる、と整理されています。

日本語と英語で「重さ」が違う

トークンの数え方で、初心者がいちばん戸惑うのが「言語によってトークン数が変わる」点です。ざっくりした目安はこんなイメージです。

言語	目安
英語	1 単語 ≒ 1〜2 トークン程度(短い単語は 1、長い単語は分割される)
日本語	1 文字 ≒ 1〜2 トークン程度(漢字・ひらがな・カタカナで変わる)

「100 万トークン」ってどれくらい?

最近の料金表でよく見る単位「1M tokens(= 100 万トークン)」は、ピンとこない方も多いはずです。あくまで目安ですが、こんな規模感です。

• 英語: 約 75 万単語前後(分厚い長編小説の数倍)
• 日本語: ざっくり数十万文字レベル(文庫本にして数冊分)

「100 万」という数字は大きく見えますが、長い PDF や議事録、何ヶ月ぶんかのチャット履歴などをまるごと AI に渡すと、案外あっという間に消費していきます。

コンテキストウィンドウとの関係

AI には「一度に読める文章の上限」があります。これを コンテキストウィンドウ(context window) と呼び、こちらも単位はトークンです。

• 「コンテキストウィンドウ 20 万トークン」= 一度に約 20 万トークンぶんの文章まで読める
• それを超えると、古い部分から忘れたり、エラーになったりする

料金もコンテキストウィンドウも、ぜんぶトークンが基準になっている、ということだけ押さえておけば十分です。

使う場面

トークンの考え方が必要になるのは、主に「長い文章を AI に渡す」ときです。

実務では、次のような場面でトークン数を気にします。

• 長い PDF や議事録を読み込ませる
• 何回も続いたチャット履歴をそのまま使う
• 大量の商品説明や FAQ をまとめて渡す
• API の利用料金をざっくり見積もる
• 出力を長くしすぎて途中で切れないようにする

「入力が長いほど賢くなる」とは限りません。関係ない文章まで詰め込むと、AI がどこを見ればよいか迷いやすくなります。

よくある勘違い

もうひとつの勘違いは、「コンテキストウィンドウが大きいほど、何でもそのまま貼ればよい」というものです。上限が大きいモデルでも、関係ない情報が多いと回答の焦点がぼやけることがあります。

確認のコツは、貼る前に「この文章は回答に必要か」を分けることです。

1. 絶対に必要な前提
2. あると助かる参考情報
3. 今回はいらない背景情報

まず 1 と 2 だけを渡し、足りなければ追加するほうが、トークンも回答の読みやすさも節約できます。

やってみよう

関連する用語として、文章をトークンに切り分ける仕組みそのものは「トークナイザー」、AI が一度に読める量の上限は「コンテキストウィンドウ」、トークンを扱う AI 本体の話は「LLM(大規模言語モデル)」の記事で扱います。