RLHF(人間フィードバック強化学習)

ざっくり言うと

ベースとなる AI(大規模言語モデル)を素のまま動かすと、文章としては流暢でも「微妙に失礼」「ズレた答え」を出しがちです。そこに人間の好みという味付けを後から加える工程、それが RLHF だと思ってください。

イメージ

正確には

RLHF は、人間の評価をフィードバック(報酬)として用いる強化学習の手法を指す言葉です。OpenAI が 2022 年に発表した InstructGPT の論文 "Training language models to follow instructions with human feedback"(Ouyang ら、2022)が、ChatGPT 系モデルにつながる代表的な事例として知られています。

OpenAI のブログ "Aligning language models to follow instructions" によれば、InstructGPT は GPT-3 をベースに、人間のラベラーが書いたデモンストレーションと、複数の出力に対する順位付けを用いて学習されており、ユーザー指示への追従性や有害な出力の少なさといった面でベース GPT-3 を上回ったと報告されています。

おおまかな3ステップ

公開されている解説や論文をもとに整理すると、RLHF はおおむね次の流れで進みます(細部は実装ごとに異なります)。

ステップ	中身	やっていること
1. 教師あり微調整(SFT)	人間が書いた「お手本のやりとり」でモデルを微調整	まずお手本の真似ができるようにする
2. 報酬モデルの学習	同じ質問への複数回答を人間が順位付け → そのランキングを当てる別のモデルを作る	「人間ならどっちを好むか」を予測する採点係を作る
3. 強化学習による最適化	報酬モデルのスコアが高くなるよう、本体モデルを強化学習で調整	採点係が高得点をつける答え方に寄せていく

DeepMind のブログ "Learning through human feedback" でも、エージェントの挙動に対して人間が二者択一で良し悪しを示し、その選好からモデルを学習させるアプローチが紹介されています。「人間が直接お手本を全部書く」のではなく、「比較・順位付け」というラクな形のフィードバックで学習できるのがポイントです。

RLHF とアライメントの関係

アライメント(AI を人間の意図や価値観に沿わせること)を実現するための主要な手法のひとつが、この RLHF です。Anthropic は "Core Views on AI Safety" の中で、RLHF を含む人間からのフィードバックによる学習を、安全性研究の重要な要素として位置づけています。

つまり、「アライメント」が目指すゴールの名前、「RLHF」がそこへ向かう代表的な道具の名前、というイメージで分けるとスッキリします。

RLHF と他の学習工程との違い

用語	ざっくり何?
事前学習(training)	大量のテキストで「次の単語当て」を覚える、素材作りの工程
ファインチューニング	特定分野のデータで追加学習する得意分野づくりの工程
RLHF	人間の好みを後から仕込む、お行儀づくりの工程

事前学習で頭の中身ができ、ファインチューニングで専門性がつき、RLHF で接し方の作法が整う、と段階で考えると関係が見えやすいです。

よくある勘違い

初心者が混乱しやすいポイントは、RLHF と「事実確認」を同じものだと思ってしまうことです。

RLHF: どんな答え方が好まれやすいかを学ぶ
検索や参照: 外部の情報を見に行って、内容を確認する
人間のレビュー: 重要な判断の前に、出力を読み直して直す

この3つは助け合いますが、役割は別です。RLHF が入っているモデルでも、知らないことをもっともらしく言うことはあります。

使う場面と確認のコツ

RLHF を知っておくと、AI の返事を必要以上に神秘化しなくて済みます。丁寧な口調や自然な断り方は、偶然ではなく、学習工程の中で人間の評価に寄せられた結果だと考えられます。

一方で、「丁寧に見える答え」と「内容が正しい答え」は違います。特に医療・法律・お金・契約・安全に関わる話は、AI の口調が落ち着いていても、そのまま信じ込まないほうが安全です。

確認するときは、次の順番にすると迷いにくくなります。

まず、答えが質問にちゃんと答えているかを見る
次に、断定が強すぎないかを見る
最後に、重要な数字・制度・固有名詞を公式情報で確認する