大量の会話履歴や社内文書を言語モデルに毎回渡すと、入力トークンが増え、処理時間や費用がかかります。研究手法「Memorilla(メモリラ)」は、文書の情報をあらかじめ数値で保存し、質問に必要な情報を16個の「潜在メモリトークン」にまとめて言語モデルへ渡します。潜在メモリトークンは、文章を短く要約したものではなく、AIが内部で扱う数値表現です。
Memorillaの原論文は2026年10月15日に公開されました。仕組みと実験の条件を確認すると、実用化に向けた課題も見えてきます。ChatGPTやClaudeに一般向けの新機能が追加されたという発表ではありません。
Memorillaは文書を数値で保存し、質問ごとに16個の潜在メモリトークンを作る
Memorillaは、長い記録から必要な情報を取り出し、少ない入力で言語モデルに使わせるための研究手法です。会話、書籍の章、AIエージェントの実行履歴などを、事前に「埋め込み」と呼ばれる数値表現へ変換して保存します。
利用者が質問すると、記憶を取り出す専用の処理(メモリモジュール)が保存済みの情報を参照します。質問に必要な情報を、16個のベクトルと呼ばれる数値のまとまりに変換する設計です。
ここでいう「16トークン」は、16語の要約文や16個の単語ではありません。言語モデルが内部で入力を受け取る際の数値表現なので、通常のチャット欄へ貼り付けても同じ効果を再現できるわけではありません。
Memorillaは、回答するたびに元の文書を長文として読み直す代わりに、質問に必要な情報を数値に変換して渡します。文書の埋め込みを再利用できる一方、文書を追加・変更した際には、保存情報を探すための索引も管理する必要があります。
RAGは根拠の文章を渡し、Memorillaは学習済みの潜在表現で記憶を渡す
RAG(検索拡張生成)は、質問に近い文書の一部を検索し、根拠となる文章をAIに添える方法が一般的です。人が検索結果を読んで確かめやすく、回答の出典も示しやすくなります。ただし、検索した部分に重要な情報が含まれなければ、AIは必要な回答を作れません。複数の文書に情報が分散している場合は、長い検索結果を渡す必要もあります。
Memorillaは、文書の埋め込みを質問に応じた潜在表現へ変換します。回答を作る言語モデルの重み、つまり学習済みの内部の調整値は固定したままです。別のメモリモジュールを学習させ、文書の情報を取り出して言語モデルへ入力します。言語モデル全体を追加学習するファインチューニングとは、調整する部分が異なります。
原文を渡すRAGと違い、Memorillaの記憶トークンだけを人が読んでも出典は分かりません。監査や法務文書のように根拠の引用が欠かせない用途では、原文を検索し、回答の根拠を確認できる設計が必要です。
Memorillaは8種類の評価のうち5種類で比較手法を上回り、FactKGでは正答率84.33%を報告
研究チームは、利用者に合わせた回答、長文理解、知識を使った質問応答など、8種類のベンチマークでMemorillaを検証しました。ベンチマークは、共通の問題を使ってAIの性能を比べる評価です。16個のメモリトークンを使う設定では、Mem0やMemoRAGなどの比較手法に対し、5種類で最良の結果を報告しています。
事実検証用のFactKGでは、Memorillaの正答率は84.33%でした。文書全体を言語モデルへ渡す方法を「全文入力」と呼びます。Memorillaの正答率は、この全文入力での80.43%を上回っています。参照文書の情報を表すために使ったトークン数は、全文入力の108分の1でした。
長文のTriviaQAでは、正解と回答が完全に一致する割合を表す完全一致率が57.00でした。正答率と完全一致率は異なる指標なので、論文の評価表の数字だけを横並びには比較できません。いずれも研究チームの実験条件で得た結果であり、すべての言語モデルや質問で全文入力より精度が上がるという意味ではありません。
TextWorldのAIエージェント実験では、平均成功率が18.6%から24.2%に改善
研究チームは、過去の行動を覚えて次の行動を決めるAIエージェントにもMemorillaを適用しました。実験に使ったTextWorldは、文章で表された部屋を探索する環境です。エージェントは行動するたびに履歴を記憶へ追加し、次の行動を決める際に利用します。
実験では、すでに訪れた部屋を行き来する無駄が減りました。課題の平均成功率は、全履歴を入力する条件の18.6%から、Memorillaを使う条件では24.2%に改善しています。
ただし、AIエージェントが自律的に世界を学習する万能な仕組みを得たわけではありません。評価したのは、制約のあるテキスト型のシミュレーション環境です。現実の業務エージェントや、個人情報を含む文書庫で同じ改善が得られたわけではありません。差は5.6ポイントで、相対的には約30%の改善に当たりますが、実運用での効果とは分けて読む必要があります。
H100を使う限定実験では回答時間0.74秒を報告、導入には記憶の追跡と保護が必要
論文では、512文書を使い、NVIDIA H100を1基用いた条件で回答処理の時間を比較しています。全文入力では19.9秒だったのに対し、Memorillaは0.74秒でした。
約27倍の差がありますが、文書を事前に埋め込みへ変換する処理や、システム全体の保守費用まで含む比較とは限りません。長い会話や製品マニュアルを繰り返し参照する用途では、処理時間や入力コストを減らす研究として注目できます。ただし速度差は、ハードウェア、文書数、モデル、実装条件によって変わります。
導入を考える開発者は、記憶に含まれる機密情報の保護と、誤回答の原因を追跡する方法を検証する必要があります。原文に戻って確認する仕組みや、情報の更新・削除を記憶へ反映する方法も欠かせません。
研究コードはGitHubで公開されており、研究者や開発者はモデル構成と検証手順を確認できます。ただし、検証には相応のGPU環境が必要です。ChatGPTなどの一般向けサービスへ標準搭載された機能ではありません。試す際は、既存のRAGと同じデータを使い、精度・根拠の示し方・応答速度を比較してみてください。




