人間フィードバックからの強化学習

# 人間フィードバックからの強化学習 Navigation: [[index]] | [[concepts/_index|concepts]] ## 定義人間フィードバックからの強化学習(RLHF: Reinforcement Learning from Human Feedback)は、人間の選好信号を報酬として用いて言語モデルをファインチューニングする手法である。元来はロボット制御・ゲームプレイに提案された技術(Christiano+ 2017)を、大規模言語モデルのアライメントに転用した。典型的な実装では以下の 3 ステップを経る: 1. **SFT(教師ありファインチューニング)**: ラベラーが示すデモンストレーションデータで事前学習済みモデルを微調整し、指示追従の初期能力を付与する。 2. **RM(報酬モデル)学習**: 同一プロンプトに対する複数のモデル出力を人間がランキングし、そのランキングを模倣するスカラー報酬を出力するモデルを学習する。 3. **PPO(強化学習)**: RM を報酬関数として用い、PPO アルゴリズムで言語モデルポリシーを最適化する。SFT モデルからの KL 乖離ペナルティを加えて過度な最適化を抑制する。 [[OpenAI]] が InstructGPT で広範な言語タスクへ大規模に適用・実証した(Source: [[@2022__NeurIPS__Training language models to follow instructions with human feedback]])。 ## PPO 目的関数の詳細 InstructGPT では以下の目的関数を最適化する: $\text{objective}(\phi) = \mathbb{E}_{(x,y) \sim D_{\pi^{RL}}} [r_\theta(x, y) - \beta \log \pi^{RL}_\phi(y|x) / \pi^{SFT}(y|x)] + \gamma \mathbb{E}_{x \sim D_{\text{pretrain}}} [\log(\pi^{RL}_\phi(x))]$ - $r_\theta$: 報酬モデル出力 - $\beta$: KL ペナルティ係数(β=0.02) - $\gamma$: 事前学習混合係数(PPO では 0、PPO-ptx では 27.8) (Source: [[@2022__NeurIPS__Training language models to follow instructions with human feedback]]) ## アライメント税とその緩和標準的な PPO 微調整は、公開 NLP データセット(SQuAD・DROP・HellaSwag 等)での性能低下を引き起こす。これを「アライメント税」と呼ぶ。事前学習勾配を PPO 勾配に混合する **PPO-ptx** によってこの低下をほぼ解消できる。KL 係数を増大させるよりも効果的である(Source: [[@2022__NeurIPS__Training language models to follow instructions with human feedback]])。 ## 横断的知見 - **100 倍のスケールを低コストで逆転**: 1.3B InstructGPT が 175B GPT-3 を人間評価で上回った。RLHF のアライメントコスト(175B PPO-ptx で 60 petaflops/s-days)は GPT-3 事前学習(3,640 petaflops/s-days)の約 1.6%。現時点ではスケールアップよりアライメント投資の費用対効果が高い可能性がある。(Source: [[@2022__NeurIPS__Training language models to follow instructions with human feedback]]) - **RLHF の誤誘導リスク**: 標準的な RLHF によりモデルが人間を意図せず誤誘導する振る舞いを学習することが別途確認されている。高難度タスクほど人間の正誤判定が難しく、欺くことで高い報酬が得られる力学が働く。(Source: [[RLHF誤誘導]]) - **RLHF はキャリブレーションを劣化させる**: GPT-4 技術報告によれば、RLHF 事後訓練により ECE が 0.007 → 0.074 に急増する。モデルの振る舞いは改善するが、自信度の信頼性が損なわれる。(Source: [[RLHF誤誘導]]) - **報酬モデルは 6B が最適解**: InstructGPT では 175B RM は訓練不安定・計算コスト高のため 6B RM を採用。これは実装上の重要な知見である。(Source: [[@2022__NeurIPS__Training language models to follow instructions with human feedback]]) - **「数値評価より相対比較の方が人間にとって容易」という RLHF の起源(ロボット制御)での発見が、テキスト生成へそのまま転用された**。『原論文から解き明かす生成AI』第4章は RLHF の元祖である Christiano et al.(2017, Deep reinforcement learning from human preferences)を InstructGPT に先立って読み解き、「ある種の領域では評価を直接行うよりも比較の方が人間にとって簡単であり、人間の選好を学習する上で同様に有用である」という原論文の発見を紹介する。InstructGPT の Step 2 (報酬モデル学習)が採用する $\binom{K}{2}$ 個のペアワイズ比較によるランキング方式は、この 2017 年の発見をロボットの短い動画比較からテキスト生成モデルの複数出力比較へそのまま転用したものであり、ドメインが完全に変わっても「相対比較の方が人間にとって容易」という知見自体は不変であることを示す。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.3.2) - **GPT-4 は技術詳細のほとんどを非公開としながら、RLHF の使用だけは明示的に開示している**。GPT-4 Technical Report がモデル構成について公開する情報は「次トークン予測で事前学習された Transformer 型モデルであり、RLHF でファインチューニングされた」という 1 文にほぼ限られる。アーキテクチャ・パラメータ数・訓練データを一切開示しない中で RLHF の採用だけを明言している事実は、InstructGPT 論文が確立した SFT→報酬モデル→PPO というパイプラインが、GPT-3 175B という巨大な事前学習済みモデルを実用可能な対話システムに変換する上で、アーキテクチャの詳細よりも重要な「公開する価値のある」情報として扱われていることを示唆する。(Source: [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]] §4.2.2, [[@2022__NeurIPS__Training language models to follow instructions with human feedback]]) ## 未解決の問い - 誰の選好にアラインするか: 現実の RLHF は特定のラベラー集団(英語話者・特定地域・特定価値観)にアラインする。多様なステークホルダーを公平に代表する方法は未解決。 - RLHF の誤誘導はモデルスケールと共に深刻化するか。 - Constitutional AI や RLAIF(AI フィードバック)は人間ラベラーの偏りを克服できるか。 - PPO-ptx でもアライメント税が完全には解消されない理由は何か。 - RM のサイズとポリシーのサイズの最適比は何か。 ## 関連 - 上位概念: [[アライメント]] - 接続: [[指示チューニング]](SFT 段階と共通の目標)、[[RLHF誤誘導]](副作用)、[[強化ファインチューニング]](近縁手法) - 実装例: InstructGPT([[OpenAI]])、GPT-4([[OpenAI]]) - MOC: [[structures/000 Index]] ## 出典 - [[@2022__NeurIPS__Training language models to follow instructions with human feedback]] — InstructGPT: RLHF を広範な言語タスクに大規模適用した実証研究 - [[@2025__Gihyo__原論文から解き明かす生成AI - Chapter 4 Generative Pre-trained Transformerとテキスト生成]](§4.3.2 RLHFの起源(Christiano et al. 2017)とInstructGPTへの適用、§4.2.2 GPT-4でのRLHF言及)