ナレッジカットオフ

ざっくり言うと

「ChatGPT に今日のニュースを聞いたら、なんか古い答えが返ってきた…」という現象の正体は、だいたいこのナレッジカットオフです。AI がサボっているわけでも、事実と違う内容を書いているわけでもなく、そもそも新しい情報を見たことがないだけ、というケースが多いです。

イメージ

正確には

ナレッジカットオフは、各社の公式ドキュメントでは大きく2つの軸で説明されることが増えています。Anthropic の Models overview を例に取ると、以下のように整理されています。

用語	意味
Training data cutoff(学習データのカットオフ)	モデルの学習に使われたデータが「いつまで」を含んでいたか、という広めの日付
Reliable knowledge cutoff(信頼できる知識のカットオフ)	そのうち、モデルの知識が最も豊富で信頼できる範囲としての日付

つまり「学習データ自体には新しめのデータも一部入っているけれど、安心して使える知識の上限はもう少し前」というニュアンスです。学習データに新しい記事が少しだけ入っていても、量が足りないと答えの精度は下がるため、こうした2軸の表現が使われます。

「公表値より実際は古い」こともある

arXiv の論文 "Dated Data: Tracing Knowledge Cutoffs in Large Language Models"(Cheng ら)では、LLM が公表しているカットオフ日と、実際にモデルが詳しい時期(論文では "effective cutoff" と呼ばれます)がズレることが報告されています。

理由はざっくり言うと:

学習元になっている Web クロールデータ(CommonCrawl 等)に、新しいダンプにも古いページが混じっている
重複排除の仕組みが完璧ではない

ので、「公式が言うカットオフ = モデルが本当に詳しい時期」とは限らない、という話です。カットオフ日付は目安として捉えるのが現実的です。

各社の状況

具体的な日付は、各社・各モデルでバラバラかつ新しいモデルが出るたびに更新されます。

Anthropic(Claude)は公式の Models overview で、モデルごとに Training data cutoff と Reliable knowledge cutoff を並べて公開しています
Google(Gemini)は AI for Developers の Models ページで、各モデルの仕様を公開しています
OpenAI、Microsoft、xAI など他社も、公式ドキュメントやモデルカード(model card)に記載があります

注意点

対処法

カットオフを補う方法は、大きく3つです。

Web検索機能をオンにする: Web 検索に対応しているチャットAIでは、その場でネットを参照して検索時点で確認できる情報も含めて答えるようにできます(詳しくは「Web Search / Browse」の記事へ)
確認したいファイルを添付する: PDF・URL・CSV などを会話に添付すれば、AI はその内容を直接読みに行きます。社内資料や公開後に出た決算書を読ませて答えさせる、というやり方です。これに近い仕組みを自動化したものが RAG(検索拡張生成) と呼ばれます
公式情報と必ず照合する: それでも最終確認は人間がやる、というスタンスを崩さない。AIの答えは下書きで、裏取りは人間の仕事です