レイテンシー(応答速度)

ざっくり言うと

「速さ」を表すのに 「遅延時間」 という遠回しな言い方をするのは、英語の latency(=潜伏時間・遅れ)をそのまま輸入した用語だからです。値が小さいほど速い、と覚えてください。

イメージ

正確には

レイテンシーは、AIモデルへの入力を送ってから出力を受け取り終わるまでの所要時間を指します。生成AI(LLM)の文脈では、主に次の2つの指標で語られます。

指標	読み方	何を測る?
TTFT	Time To First Token	リクエスト送信から最初の1トークンが返ってくるまでの時間
全体レイテンシー	Total Latency	リクエスト送信から最後のトークンが返ってくるまでの時間

Anthropic の公式ドキュメント「Reduce latency」でも、TTFT と全体時間を別の指標として最適化することが推奨されています。チャットUIのように人間が読みながら待つ場面では、TTFT を短くするほうが体感速度に効きます。

レイテンシーが変わる主な要因

同じAIでも、状況によって応答速度はガラッと変わります。初心者がまず押さえたい要因は3つです。

1. モデルのサイズ

大きく賢いモデルほど、1トークン作るのに必要な計算量が増えます。GPT-4 系・Claude Opus 系のような上位モデルは賢い反面、小型モデル(GPT-4o mini・Claude Haiku 等)に比べると、どうしてもレイテンシーが大きくなる傾向があります。

2. 推論型(Reasoning)モデルかどうか

OpenAI の o シリーズや Anthropic の Extended Thinking のような 推論型モデル は、答える前に裏で「考える」工程を挟みます。そのぶん精度は上がりますが、最初の1文字が出るまでに数秒〜数十秒待つことも珍しくありません。

3. コンテキスト長(入力 + 出力の文字数)

長い文章を読ませたり、長い回答を要求したりするほど、当然ながら時間がかかります。AIは1トークンずつ順番に作るので、出力トークン数とレイテンシーはほぼ比例します。

速さと賢さはトレードオフ

NVIDIA の公式ブログでも整理されているとおり、AI の 推論(Inference) にはハードウェア(GPU)・モデルサイズ・最適化技術の3者がからみます。一般的には:

• 速いモデル = 軽い・小さい・安い・でも複雑な推論は苦手
• 賢いモデル = 重い・大きい・遅い・代わりに難問が解ける

という関係になります。「速ければ偉い」わけでも「賢ければ偉い」わけでもないので、用途に合わせて選ぶのが正解です。

たとえば、チャット相談なら「少し粗くてもすぐ返る」ほうが気持ちよく使えます。 契約書レビューやコード修正なら、多少待っても「より丁寧に考える」ほうが向いています。 大量処理なら、1回あたりの数秒差が全体コストに効いてきます。 レイテンシーは、体感だけでなく運用設計にも関わる指標です。

注意点

やってみよう

関連して、応答が出てくる仕組みそのものを知りたい方は 推論(Inference)、表示方法の工夫を知りたい方は ストリーミング、考えてから答えるタイプのAIについては 推論型モデル も併せてどうぞ。