ナレッジカットオフ

ざっくり言うと

イメージ

たとえば、補助金についてAIに聞いたとします。制度の考え方はうまく説明できても、いま募集している受付期間や上限額は、古いまま返ってくることがあります。

自分の商売に関わる制度ほど、気づかないうちに条件が変わっていますよね。

この違いは、AIの賢さではなく、いつまでの資料で勉強したかで決まります。

正確には

呼び方は、AIを提供している会社によって少しずつ違います。

Anthropic（Claudeの開発元）は、公式のモデル一覧で次の2つを区別しています。

ほかの2社の説明も見ておきましょう。

• OpenAIは、公式のモデルページで、モデルごとのKnowledge cutoffを示しています
• Google（Geminiの開発元）も、モデルの資料でKnowledge cutoffを案内しています。より新しい情報には、検索と結びつけるSearch Groundingを使うよう説明しています

つまり、同じ会社の製品でも、選ばれたモデルが違えばカットオフも違うことがあります。

チャット製品に検索やツールが組み込まれている場合は、AIが元から持っている知識と、その場で取ってきた情報を分けて考えてください。

モデル名も一緒に控えておく

カットオフの日付だけをメモしても、どのモデルの話か分からなければ、あとで確かめようがありません。

控えるのは3つです。APIなら固定のモデルID、チャット製品なら画面に出ているモデルの表示、そして確認した日付です。

自動で更新される別名を使っていたり、製品側がモデルを自動で選んでいたりすると、中身が入れ替わる可能性もあります。

日付が分かっても、保証されないこと

カットオフの日付を知っても、次のことまでは保証されません。

• カットオフ前の出来事を、すべて覚えている
• カットオフ前の事実を、必ず正しく答える
• カットオフ後の事実を、一切扱えない
• AIが答える今日の日付までの出来事を、すべて知っている
• 検索を使えば、答えが必ず検索した時点の情報どおりに正しくなる

公表された日付どおりとは限らない

『Dated Data』という研究論文では、公表されたカットオフと、実質的なカットオフのずれを調べています。実質的なカットオフ（effective cutoff）とは、質問への答えから推定した、実際の知識の時点のことです。

ずれが生まれるのは、Web上から集めたデータに、取得した時期は新しくても中身が古いページや、同じ内容の重複が含まれるためです。

この研究からも、カットオフが知識を日付できっちり分けるものではないと分かります。使うときの判断材料として扱うのが適切です。

使う場面

鮮度を疑ったほうがいい話題

古い答えが返ってくる理由は、カットオフだけとは限りません。検索が動かなかった、古いページを拾った、情報を取り違えた、といった可能性もあります。

事実と違う答えが返ってきたら、ハルシネーションとして検証してください。

古い答えを避けるためにできること

1. 公式のモデルページを見る
   モデル名とKnowledge cutoff、ツールへの対応を確認する
2. Web検索を使う
   対応しているサービスなら、いま公開されている公式情報を検索させる
3. 資料を会話へ渡す
   対応しているファイル形式や入力方法で、確認済みの資料を渡す
4. RAGを使う
   いつも使う文書は、検索して答えの材料として渡す仕組みにする
5. 一次情報で照合する
   最終判断に使う内容は、提供元や官公庁のページで確かめる

検索や資料の添付は、AIが学習した中身を書き換える方法ではありません。そのやりとりの場に、新しい情報を持ち込む方法です。

ですから、資料を渡さずに新しいチャットで聞き直せば、また古い答えが返ってくることもあります。

注意点

関連用語

• Web検索 — 使うその時点のWeb上の情報を取りに行く機能
• RAG（検索拡張生成） — 外部の資料を検索して、答えの材料としてAIに渡す仕組み
• ハルシネーション — 事実と違う内容を、もっともらしく書いてしまう現象
• 学習（トレーニング） — 大量のデータからAIに知識を身につけさせる工程

やってみよう

カットオフは、答えの鮮度を疑うきっかけをくれる目安です。中身が正しいことまで保証してくれるわけではありません。