Top-P(Nucleus Sampling)とは

ざっくり言うと

Temperature と似た「出力のばらつきを調整する設定」ですが、しくみも効き方も別ものです。普通は片方だけを動かして使います。

イメージ

正確には

Top-P は 2019 年の論文「The Curious Case of Neural Text Degeneration」(Holtzman 他)で提案されたサンプリング手法です。それまで主流だった「上位 K 件だけ残す Top-K」と違い、確率の累積で動的に候補数が変わるのが特徴です。

OpenAI、Anthropic、Googleの対応モデルでは、top_pというパラメータで指定し、0より大きく1以下の値を取ります。ただし、すべての現行モデルで変更できるわけではありません。

Temperature と Top-P の違い

混乱しやすいので、入れ子ではなく別軸の調整と理解してください。

パラメータ	何を変える?	喩えるなら
Temperature	候補ごとの確率の差を平らにしたり尖らせたりする	ランキング全体の「コントラスト」調整
Top-P	確率の累積で候補の人数を絞る	ランキングの「足切りライン」設定

デフォルト値の目安

各社で扱いが少し違います(揮発性が高いので必ず公式を確認してください):

• OpenAI: top_p のデフォルトは 1(= 全候補が対象、実質オフ)
• Anthropic: 対応モデルでは任意指定。Claude Sonnet 5など一部の新モデルは非デフォルト値を受け付けず、指定すると400エラー
• Google Gemini: モデルごとにデフォルトが設定されている

つまり多くの場合、何も指定しなければ Top-P は実質効いていない(1.0 = 全候補)状態です。必要なときだけ下げて使う、という使い方になります。

使いどころ

ただし、Temperature を 0 に近づけても同じような「安定」効果は出せます。多くの実用ケースでは Temperature を主に動かし、Top-P は 1.0 のままで放置でも問題ありません。「Temperature だけだとうまく行かないとき」に Top-P を引っ張り出す、くらいのスタンスでも十分です。

注意点

また、Top-P の値はモデルごとに最適値が違います。OpenAI で良かった top_p = 0.7 が、Anthropic や Gemini でも同じ感触になるとは限りません。モデルを乗り換えたら、まず設定自体が対応しているかを確認し、対応モデルでだけ再チューニングします。

やってみよう

関連用語として、似た役割の Temperature と、「上位 K 件だけ残す」シンプル版の Top-K も合わせて押さえると、サンプリング系パラメータの全体像がつかめます。