Temperature(温度)

ざっくり言うと

イメージ

同じ質問でも、返ってくる答えの傾向は変わることがあります。ただし、低ければ正確、高ければ創造的、と単純に決まるものではありません。

正確には

文章を書くAI（大規模言語モデル）は、次に来る言葉を確率で選んでいます。「この言葉が◯%、あの言葉が◯%」と見比べているイメージです。

Temperatureは、その確率の差（確率分布）を、はっきりさせるか、なだらかにするかを決めます。値を下げると確率の高い言葉が選ばれやすくなり、上げると確率の低い言葉にも選ばれるチャンスが生まれます。

各社のAPIでは、同じ名前の設定でも扱いが違います。

0にすれば、毎回同じ答えになる？

完全に同じとは限りません。Anthropicの対応モデル向けAPIリファレンスは、0.0でも結果が完全に決定的にはならないと説明しています。

ほかにも、Temperature以外の生成設定、モデルの更新、入力した文脈などが結果へ影響します。0なら必ず同じ答えを再現できる、とは考えないでください。

Temperatureと、Top-p・Top-kの違い

Temperatureと一緒によく出てくるのが、top_p（Nucleus Sampling）とtop_kです。どれも候補の選び方に関わりますが、効き方が少しずつ違います。

OpenAIのChat Completionsリファレンスは、temperatureとtop_pの両方ではなく、どちらか一方を調整するよう案内しています。非対応のモデルでは、どちらも指定しません。

WebのChatGPTやClaudeでは設定できる？

Temperatureは、どのAIサービスにも共通で付いている設定ではありません。対応するAPI・モデルで指定する、生成時の設定です。

チャット製品が設定を画面に出していない場合、中でどんな値が使われているかを、使う側から言い当てることはできません。

調整したいときは、まず使うAPI・モデルがTemperatureを受け付けるかを確認してください。受け付けない場合は、目的・語り口・出力の形をプロンプトへ書き込み、代表的な入力で試して見比べます。

使う場面

まずは既定値から試してください

いきなり数値を動かさず、既定値のまま、ふだんの仕事で使うような入力を何回か試してみてください。

そのうえで、使うモデルがTemperatureを受け付けているかを確かめます。答えのまとまりや幅を変えたいときだけ、公式の範囲内で一段ずつ動かしてください。

• 分類・抽出
  形式と値が安定しているかを見て、必要なら対応範囲内で低い方向を試します
• 説明文・文章案
  まずは既定値を基準にして、目的に合う表現かどうかを比べます
• アイデア出し
  案の幅が足りないときだけ、対応範囲内で高い方向を試します

どの値がどんな作業に向くか

確かめるときは、同じプロンプトを3回ほど実行して、答えの揺れ方を見比べてください。

1. 低めで、毎回ほぼ同じ方向に収まるか
2. 中くらいで、自然な言い換えが出るか
3. 高めで、目的から外れすぎないか

注意点

仕事で使うときは、条件をそろえて比べてください

Temperatureだけを見て、良し悪しを決めないでください。プロンプト、出力の形式（スキーマ）、モデルのバージョン、ほかの生成設定をそろえたうえで比べます。

分類や抽出では、正解データを使った評価と、アプリ側の検証も必要です。

関連用語

• Top-p — 上位の候補を合計確率で絞る、別の設定です。
• Top-k — 上位から決まった個数だけを残す設定です。
• パラメータ — 同じ言葉でも、こちらは学習で決まるモデル内部の数値です。
• 推論（Inference） — 学習済みのモデルが、入力から答えを組み立てる工程です。

やってみよう