RLHF(人間フィードバック強化学習)
この記事は約8分で読めます
ざっくり言うと
RLHF（人間フィードバック強化学習）とは、人が付けた評価を報酬（よい答えに与える点数）に変えて、AIの振る舞いを調整する方法です。調整には、よい結果に点をつけて、点が高くなる動き方を増やしていく学び方（強化学習）を使います。
RLHFという呼び名は、英語のReinforcement Learning from Human Feedbackの頭文字をつなげたものです。
2022年のInstructGPTは、RLHFを使って指示への従いやすさなどを改善した代表例です。ただし、いまのAI製品がどの学習手法をどれくらい使っているかは、公開されている範囲が製品ごとに違います。ある製品の受け答えをまるごとRLHFのおかげだとは、断定できません。
AIはまず、大量の文章を読んで言葉の並べ方を覚えます。ところが、その工程だけでは人が望む答え方まではそろいません。
そこで、学習を終えたばかりのAIに、人が好む振る舞いを追加で教えます。その方法のひとつがRLHFです。文章をなめらかに書けるようにする学習と、どちらの答えが望ましいかを覚える学習は、狙っているものが違います。
イメージ
InstructGPTのもとになったGPT-3は、次のトークン（文章を細かく区切った単位）を予測する目的で事前に学習された言語モデルです。その目的だけでは、利用者の指示に沿うことや安全性までは保証されません。
RLHFは、そこから望ましい振る舞いへ寄せていく方法のひとつです。どんなデータで学んだのか、事前学習で何を目指したのかは、モデルごとに違います。
正確には
RLHFは、人の評価から学んだ報酬の信号を使い、モデルやエージェント（自分で動くAI）の振る舞いを強化学習で調整する方法です。
2017年の論文"Deep reinforcement learning from human preferences"は、人が2つの行動を見比べた結果から報酬を学ぶ方法を示しました。言語モデルでの代表例が、OpenAIが2022年に発表したInstructGPTの論文です。
OpenAIの公式ブログの記事"Aligning language models to follow instructions"でも、この学習が説明されています。記事によれば、InstructGPTはGPT-3をもとに学習されました。使ったのは、人間のラベラー（見本づくりと評価を担当する人）が書いたお手本のやりとりと、複数の出力への順位付けです。
公開された評価では、指示への従いやすさや、一部の真実性・毒性の指標で、ベースのGPT-3から改善しました。いっぽうで、完全に安全・正確になったわけではありません。
InstructGPTで公開された学習の3ステップ
InstructGPTで公開された学習手順を整理すると、次の流れになります。これは代表例であり、すべてのRLHF実装が同じ3段階とは限りません。
| ステップ | 中身 | やっていること |
|---|---|---|
| 1. 教師あり微調整（SFT） | 人が書いたお手本のやりとりで、モデルを微調整する | まずはお手本の真似ができるようにする |
| 2. 報酬モデルの学習 | 同じ質問への複数の答えを人が順位付けし、その順位を当てる別のモデルを作る | 人ならどちらを好むかを予測する採点係を作る |
| 3. 強化学習による最適化 | 報酬モデルの点数が高くなるよう、本体のモデルを強化学習で調整する | 採点係が高い点を付ける答え方へ寄せる |
DeepMindのブログ"Learning through human feedback"でも、似た考え方が紹介されています。エージェントの動きを人が二者択一で評価し、その好みから報酬を学ぶ方法です。
人が正解の行動をすべて実演する代わりに、複数の候補を見比べて望ましいほうを示せます。ここがこのやり方のポイントです。
RLHFとアライメントの関係
アライメント（AIを人の意図や価値観に沿わせること）に取り組む方法のひとつが、RLHFです。ただし、RLHFだけで安全性や価値観の一致が完成するわけではありません。
アライメントは目指すゴールの名前で、RLHFはそこへ向かう代表的な道具の名前です。こう分けて覚えておくと、発表文や記事を読むときに混乱しません。
似た手法に、AIが候補を評価するRLAIF（Reinforcement Learning from AI Feedback）があります。AnthropicのConstitutional AI論文では、人がすべての有害な応答へ直接ラベルを付ける代わりの進め方が報告されています。文章にした原則と、AIによる批評・選好を使うやり方です。
RLHFとRLAIFの違いは、評価の信号を主に誰からもらうかにあります。
RLHFと他の学習工程との違い
| 用語 | ざっくり何をする？ |
|---|---|
| 事前学習（トレーニング） | 大量のデータから、広く一般的なパターンを学ぶ |
| 教師ありファインチューニング | お手本の入力と出力で、望む答え方を追加で学ぶ |
| RLHF | 人の比較評価から報酬を学び、その報酬で振る舞いを調整する |
この3つが、いつも知識・専門性・作法の順に並ぶわけではありません。RLHFも広い意味では追加学習の一種で、組み合わせや順序は実装によって変わります。
よくある勘違い
混乱しやすいのは、RLHFと事実確認を同じものだと思ってしまうところです。次の3つは、役割が分かれています。
- RLHF
どんな答え方が好まれやすいかを学ぶ - 検索や参照
外部の情報を見に行って、内容を確かめる - 人の見直し
大事な判断の前に、出てきた文章を読み直して直す
どれも助け合いますが、互いの代わりにはなりません。RLHFで調整されたモデルでも、知らないことをもっともらしく書くことはあります。
使う場面
使う場面と確認のコツ
RLHFを知っておくと、AIの返事を必要以上に特別なものだと思わずに済みます。丁寧な口調や自然な断り方には、いくつもの要因が関わっています。指示の書き方、製品側の制御、教師あり学習、好みを使った追加学習などがあり、RLHFはその候補のひとつです。
丁寧に見える答えと、内容が正しい答えは違います。とくに医療・法律・お金・契約・安全に関わる話は要注意です。AIの口調が落ち着いていても、そのまま信じ込まないほうが安全です。
確かめる順番は、次の3つにすると迷いません。
- 質問にちゃんと答えているかを見る
- 断定が強すぎないかを見る
- 大事な数字・制度・固有名詞を、公式の情報で確かめる
読み終えたら、内容が正しいから納得したのか、言い方が丁寧だから納得したのかを、一度分けて考えてみてください。この癖がつくと、整った文章に引っぱられすぎず、必要なところだけ落ち着いて確かめられます。
注意点
関連用語
- アライメント — 人の意図や価値観にAIの振る舞いを沿わせる取り組み全体です。RLHFは、そこへ向かう代表的な手法にあたります。
- AIセーフティ — アライメントを含む、AIを安全に使えるようにするための広い研究分野です
- 学習（トレーニング） — データを読ませて覚えさせる工程全体の呼び名です
- ファインチューニング — お手本の入力と出力を見せて、望む答え方を追加で学ばせる工程です
- ハルシネーション — もっともらしい間違いを書いてしまう現象です。RLHFで整えても、消えてはくれません。
やってみよう
よくある質問
- Q. RLHFとは何ですか?
- A. 人が付けた評価を報酬に変えて、AIの振る舞いを調整する方法です。人間フィードバック強化学習とも呼ばれ、どちらの答えが望ましいかを人が示すことで、答え方を寄せていきます。
- Q. RLHFで、AIの知識は増えるのですか?
- A. 増えるとは限りません。この工程で主に整うのは答え方のほうです。雑に断定しない、危ない依頼は断る、説明を丁寧にするといった振る舞いが変わります。
- Q. RLHFとアライメントは、何が違いますか?
- A. アライメントは目指すゴールの名前で、RLHFはそこへ向かう代表的な道具の名前です。RLHFだけで、安全性や価値観の一致が完成するわけではありません。
- Q. RLHFで調整されたAIなら、答えを信じてよいですか?
- A. そうとは限りません。評価者の好みが反映されること、報酬は事実確認そのものではないことが弱点として指摘されています。丁寧に見える答えと、内容が正しい答えは別ものです。
公開: 更新: ✓ 公式情報と照合:
参考ソース
- OpenAI - Aligning language models to follow instructions (InstructGPT)(公式情報)
- arXiv - Deep reinforcement learning from human preferences (Christiano et al., 2017)(公式情報)
- DeepMind - Learning through human feedback(公式情報)
- arXiv - Training language models to follow instructions with human feedback (Ouyang et al., 2022)(公式情報)
- arXiv - Constitutional AI: Harmlessness from AI Feedback (Bai et al., 2022)(公式情報)
判断クイズ
AIの答えが丁寧だから正しい、と思っていませんか？
3問です。答えるとその場で解説が出ます。全問終えたら、「回答を記録する」で学習の記録に残せます。
全問に答えると、回答を記録できます。
残るのは「答えたかどうか」だけで、正解数は保存されません。この端末の中だけに残り、別の端末には引き継がれません。
この教科書は無料で全文公開しています。仕事で使えるところまで進みたい方は、実習と資料がそろった生徒プランをどうぞ。