ざっくり言うと

RLHF（人間フィードバック強化学習）とは、人が付けた評価を報酬（よい答えに与える点数）に変えて、AIの振る舞いを調整する方法です。調整には、よい結果に点をつけて、点が高くなる動き方を増やしていく学び方（強化学習）を使います。

RLHFという呼び名は、英語のReinforcement Learning from Human Feedbackの頭文字をつなげたものです。

2022年のInstructGPTは、RLHFを使って指示への従いやすさなどを改善した代表例です。ただし、いまのAI製品がどの学習手法をどれくらい使っているかは、公開されている範囲が製品ごとに違います。ある製品の受け答えをまるごとRLHFのおかげだとは、断定できません。

AIはまず、大量の文章を読んで言葉の並べ方を覚えます。ところが、その工程だけでは人が望む答え方まではそろいません。

そこで、学習を終えたばかりのAIに、人が好む振る舞いを追加で教えます。その方法のひとつがRLHFです。文章をなめらかに書けるようにする学習と、どちらの答えが望ましいかを覚える学習は、狙っているものが違います。

イメージ

InstructGPTのもとになったGPT-3は、次のトークン（文章を細かく区切った単位）を予測する目的で事前に学習された言語モデルです。その目的だけでは、利用者の指示に沿うことや安全性までは保証されません。

RLHFは、そこから望ましい振る舞いへ寄せていく方法のひとつです。どんなデータで学んだのか、事前学習で何を目指したのかは、モデルごとに違います。

正確には

RLHFは、人の評価から学んだ報酬の信号を使い、モデルやエージェント（自分で動くAI）の振る舞いを強化学習で調整する方法です。

2017年の論文"Deep reinforcement learning from human preferences"は、人が2つの行動を見比べた結果から報酬を学ぶ方法を示しました。言語モデルでの代表例が、OpenAIが2022年に発表したInstructGPTの論文です。

OpenAIの公式ブログの記事"Aligning language models to follow instructions"でも、この学習が説明されています。記事によれば、InstructGPTはGPT-3をもとに学習されました。使ったのは、人間のラベラー（見本づくりと評価を担当する人）が書いたお手本のやりとりと、複数の出力への順位付けです。

公開された評価では、指示への従いやすさや、一部の真実性・毒性の指標で、ベースのGPT-3から改善しました。いっぽうで、完全に安全・正確になったわけではありません。

InstructGPTで公開された学習の3ステップ

InstructGPTで公開された学習手順を整理すると、次の流れになります。これは代表例であり、すべてのRLHF実装が同じ3段階とは限りません。

ステップ中身やっていること
1. 教師あり微調整（SFT）人が書いたお手本のやりとりで、モデルを微調整するまずはお手本の真似ができるようにする
2. 報酬モデルの学習同じ質問への複数の答えを人が順位付けし、その順位を当てる別のモデルを作る人ならどちらを好むかを予測する採点係を作る
3. 強化学習による最適化報酬モデルの点数が高くなるよう、本体のモデルを強化学習で調整する採点係が高い点を付ける答え方へ寄せる

DeepMindのブログ"Learning through human feedback"でも、似た考え方が紹介されています。エージェントの動きを人が二者択一で評価し、その好みから報酬を学ぶ方法です。

人が正解の行動をすべて実演する代わりに、複数の候補を見比べて望ましいほうを示せます。ここがこのやり方のポイントです。

RLHFとアライメントの関係

アライメント（AIを人の意図や価値観に沿わせること）に取り組む方法のひとつが、RLHFです。ただし、RLHFだけで安全性や価値観の一致が完成するわけではありません。

アライメントは目指すゴールの名前で、RLHFはそこへ向かう代表的な道具の名前です。こう分けて覚えておくと、発表文や記事を読むときに混乱しません。

似た手法に、AIが候補を評価するRLAIF（Reinforcement Learning from AI Feedback）があります。AnthropicのConstitutional AI論文では、人がすべての有害な応答へ直接ラベルを付ける代わりの進め方が報告されています。文章にした原則と、AIによる批評・選好を使うやり方です。

RLHFとRLAIFの違いは、評価の信号を主に誰からもらうかにあります。

RLHFと他の学習工程との違い

用語ざっくり何をする？
事前学習（トレーニング）大量のデータから、広く一般的なパターンを学ぶ
教師ありファインチューニングお手本の入力と出力で、望む答え方を追加で学ぶ
RLHF人の比較評価から報酬を学び、その報酬で振る舞いを調整する

この3つが、いつも知識・専門性・作法の順に並ぶわけではありません。RLHFも広い意味では追加学習の一種で、組み合わせや順序は実装によって変わります。

よくある勘違い

混乱しやすいのは、RLHFと事実確認を同じものだと思ってしまうところです。次の3つは、役割が分かれています。

  • RLHF
    どんな答え方が好まれやすいかを学ぶ
  • 検索や参照
    外部の情報を見に行って、内容を確かめる
  • 人の見直し
    大事な判断の前に、出てきた文章を読み直して直す

どれも助け合いますが、互いの代わりにはなりません。RLHFで調整されたモデルでも、知らないことをもっともらしく書くことはあります。

使う場面

使う場面と確認のコツ

RLHFを知っておくと、AIの返事を必要以上に特別なものだと思わずに済みます。丁寧な口調や自然な断り方には、いくつもの要因が関わっています。指示の書き方、製品側の制御、教師あり学習、好みを使った追加学習などがあり、RLHFはその候補のひとつです。

丁寧に見える答えと、内容が正しい答えは違います。とくに医療・法律・お金・契約・安全に関わる話は要注意です。AIの口調が落ち着いていても、そのまま信じ込まないほうが安全です。

確かめる順番は、次の3つにすると迷いません。

  1. 質問にちゃんと答えているかを見る
  2. 断定が強すぎないかを見る
  3. 大事な数字・制度・固有名詞を、公式の情報で確かめる

読み終えたら、内容が正しいから納得したのか、言い方が丁寧だから納得したのかを、一度分けて考えてみてください。この癖がつくと、整った文章に引っぱられすぎず、必要なところだけ落ち着いて確かめられます。

注意点

関連用語

  • アライメント — 人の意図や価値観にAIの振る舞いを沿わせる取り組み全体です。RLHFは、そこへ向かう代表的な手法にあたります。
  • AIセーフティ — アライメントを含む、AIを安全に使えるようにするための広い研究分野です
  • 学習（トレーニング） — データを読ませて覚えさせる工程全体の呼び名です
  • ファインチューニング — お手本の入力と出力を見せて、望む答え方を追加で学ばせる工程です
  • ハルシネーション — もっともらしい間違いを書いてしまう現象です。RLHFで整えても、消えてはくれません。

やってみよう