トークナイザー

ざっくり言うと

イメージ

そもそもトークンとは何か、という話は別の記事「トークン」で説明しています。ここでは、そのトークンを作っている包丁のほうを見ていきましょう。

正確には

OpenAIのヘルプセンターでは、トークンを文章の構成要素と説明したうえで、英語での目安を示しています。1トークンが約4文字、100トークンが約75語という数字です。

各社の公式ドキュメントでは、確認方法もあわせて案内されています。

• OpenAIのモデル
  複数のエンコーディング（トークンへの切り分け方の設定）が使われます。ですから、対象のモデルを指定して、公式のTokenizerやtiktokenで確かめてください。
• Anthropic（Claude）
  独自のトークナイザーを使っており、コンテキストウィンドウの消費もこの数え方で決まると説明されています。トークン数を正確に数えたい場合は、APIが用意している count_tokens エンドポイントを使うことが推奨されています。
• Google（Gemini）
  独自のトークナイザーを持っていることが案内されています。1トークンが約4文字（英語）という目安と、countTokens APIでトークン数を確認できることも書かれています。

Claude Sonnet 5では新しいトークナイザーが採用されました。同じ文章でも、Claude Sonnet 4.6より約30%多いトークンになると案内されています。

増え方は文章によって異なります。旧モデルで数えた値を料金や上限の見積もりに流用せず、利用するモデルを指定して数え直してください。

Hugging FaceのNLPコースでは、LLMで使われる代表的なトークナイザーの方式として、次の3種類が紹介されています。

• BPE（Byte Pair Encoding）
• WordPiece
• Unigram（SentencePiece）

いずれも、よく出てくる文字列のかたまりを1トークンにまとめる、という発想で作られています。

包丁の銘柄は、会社ごとに違います

同じ「こんにちは、元気ですか？」という一文でも、どの包丁で切るかで、出てくるかけらの数は変わります。

日本語のほうが多く分かれることがあります

英語と日本語では、文字や語の組み立て方が違います。トークナイザーが持っている語彙と分割の規則も、モデルごとに違います。

そのため、同じ意味の文章でも、日本語のほうが多く分割される場合があります。ただし、固定の換算率はありませんし、必ず日本語が多いというルールもありません。

実際の差は、対象のモデルと文章を指定して、公式の計数機能で確かめてください。

切り方が変わると、料金も速さも変わります

トークンをいくつに切るかで、次の4つが変わります。

• API料金
  多くのAPIは入力と出力のトークン数に応じて課金され、価格表は「100万トークンあたり◯ドル」などの単位で示されます。
• コンテキストウィンドウの消費
  モデルが一度に読める上限（Claudeではモデルにより200Kや1Mトークンなど）を、どれくらいの速さで使うかが変わります。
• 処理量
  同じモデル・同じ条件なら、扱うトークンが増えるほど入力や出力の処理量も増えます。
• 品質
  切り方が変だと、モデルが文章の意味をとらえづらくなることもあります。

つまりトークナイザーは、料金にも、速さにも、品質にも静かに効いています。ふだん目にすることはありませんが、AIを使うときの入り口を受け持っている部品です。

文字数が少なければ安い、とは限りません

短い文章でも、珍しい記号や絵文字、専門用語、日本語と英語の混在が多いと、思ったより細かく分かれることがあります。

逆に、長めの英語でも、よく使われる単語の組み合わせなら、少ないトークンで済むことがあります。見た目の文字数だけで判断せず、料金や上限に関わる場面では実際に数えるほうが安全です。

たとえば、お客さまへの返信文の型を作って、毎回AIに渡しているとします。1回あたりの差は小さくても、使う回数が多ければ積み重なります。

こういう使い回しの型ほど、最初に1回だけトークン数を見ておくと安心です。あとになって上限に当たったり、思ったより料金が増えたりして戸惑うことが減ります。

注意点

関連用語

• トークン — 切り分けられたあとの、かけら1つ分の呼び名です。
• コンテキストウィンドウ — 一度にAIが読み込める量の上限です。
• LLM（大規模言語モデル） — 切り分けたトークンを受け取って動く、AI本体です。
• API — 自分のプログラムからAIを呼び出すための窓口です。

やってみよう