学習(Training)とは?

ざっくり言うと

イメージ

どちらにどれだけ時間や計算力がかかるかは、モデルの大きさ、入力の量、処理のしかたで変わります。「学習は必ず重く、推論は必ず軽い」と決まっているわけではありません。

正確には

学習と推論は、扱っている工程が違います。

学習データとパラメータは、別のものです

学習データは、モデルを調整するために使う例のことです。一方、パラメータは、その例をもとに更新される、モデル内部の数値を指します。学習を終えたあとの品質は、使った例だけでは測れません。別に用意した評価データでも、あわせて確かめるのが基本です。

学習に使った文章が、そのまま検索できる資料としてモデルの中にしまわれるわけではありません。ただし、学習データの一部を不適切に再現してしまうリスクは、別にあります。どのデータを使うか、権利や個人情報をどう扱うかの管理も必要です。

LLMの学習工程は、固定の3段階ではありません

大規模言語モデル（LLM）では、まず広いデータで事前学習し、そのあとに目的へ合わせて追加調整する構成がよく見られます。ただし、すべてのモデルが同じ3工程を同じ順序で行うわけではありません。

学習のやり方は、ゼロから作るだけではありません

大規模なモデルの事前学習には、大量のデータと計算資源、そして評価が必要です。一方で、追加学習の規模は、手法や目的によって大きく変わります。

実務では、やりたいことに合わせて方法を選ぶのが基本です。選択肢は、主に次の4つです。

• 学習済みモデルをそのまま使う
• 指示文を工夫する
• 外部の情報を検索して渡す
• 対応サービスがあればファインチューニングする

使う場面

見分け方は、パラメータが変わるかどうかです

たとえば「社内マニュアルを見ながら質問に答えてほしい」なら、RAGが候補になります。「いつも同じ文体で返してほしい」「分類のルールを安定させたい」なら、まず指示のしかたと確かめ方を整えてください。そのうえで、必要ならファインチューニングを検討します。

どの方法が使えるか、どれくらいの費用や準備がいるかは、サービスや時期によって変わります。実際に導入するときは、使うサービスの公式ドキュメントで確認してください。

注意点

資料を渡しても、AIが学習したとは限りません

ここが分かると、「データを渡せばAIがずっと覚えていてくれるはず」「一度直したら次から必ず直るはず」という期待をしなくて済みます。続けて同じ情報を使わせたいなら、メモリ機能・RAG・ファインチューニングなどを検討しましょう。メモリやRAGは、情報を保存したり検索したりする仕組みです。基盤モデルそのものの学習とは、別のものだと考えてください。

実務では、「覚えさせたい」の中身を先に言い換えてみるのがコツです。知識を参照させたいのか、文体をそろえたいのか、判断ルールを安定させたいのか。そのどれなのかで、選ぶ方法が変わります。

なお、自分が入力した内容が、そのサービスの今後の学習に使われるかどうかは、また別の話です。気になる場合は「学習に使わない」設定の重要性をあわせて読んでみてください。

「AIが学習する」は、二通りの意味で使われます

研究者が言う学習は、ここまで説明してきた、モデルのパラメータを更新する工程のことです。一方、日常会話の「AIが学習する」は、AIが何か覚えていくらしい、というふんわりした意味で使われます。実際には推論のときに会話の流れを読み取っているだけ、というケースも多いです。

チャットを続けていると賢くなったように感じるのは、多くの場合、それまでの会話を入力として使っているためです。たいていは、答えを作っている最中に基盤モデルのパラメータが書き換わっているわけではありません。

関連用語

• 推論（Inference） — 学習を終えたモデルに入力を渡して、答えを受け取る工程です。
• パラメータ — 学習によって調整される、モデル内部の数値です。
• ファインチューニング — 学習済みのモデルに追加の学習をして、答え方を寄せる方法です。
• RLHF — 人の評価を使って、望ましい答え方へ調整する手法です。
• ナレッジカットオフ — 学習に含まれる情報が、だいたいいつ頃までかを表す目安です。

やってみよう