強化学習 - yuuk1's Digital Garden

# 強化学習 ## 定義強化学習(reinforcement learning)とは、「エージェント」と「環境」からなる問題設定のもとで、将来にわたって得られる報酬の合計を最大化するような行動を学習する手法である。各時刻 $t$ でエージェントは環境から観測 $o_t$ を受け取り、行動 $a_t$ を選択して環境に渡す。環境は内部状態 $s_t$ を持ち、受け取った行動に基づいて状態を $s_t$ から $s_{t+1}$ へ遷移させ、報酬 $r_t$ と次の観測 $o_{t+1}$ をエージェントに返す。目標は $r_t+r_{t+1}+r_{t+2}+\cdots$ の最大化であり、各時刻の報酬ではなく将来にわたる合計を最大化する点が重要で、最適な戦略には中長期的な視点が必要になる。強化学習はもともと人や動物の行動決定・学習を参考に作られた手法だが、予測・プランニング・制御・探索といった問題と密接に関係する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 決定的な遷移と確率的な遷移状態と行動が決まると次の状態が一つに決まる場合を決定的な遷移と呼び、関数 $s_{t+1}=E(s_t,a_t)$ で表現する。状態と行動から次の状態が確率的に決まる場合を確率的な遷移と呼び、遷移確率分布 $s_{t+1}\sim P(s_{t+1}\mid s_t,a_t)$ で表す。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 報酬仮説強化学習は、扱う問題の目的を単一のスカラー値である報酬の最大化として扱えると仮定する。これを報酬仮説と呼ぶ。実際の世の中の問題やタスクを一つの報酬ですべて表すことはできないが、この大胆な単純化のもとでも驚くほど多くの問題を解くことができる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 教師あり学習との違い強化学習は[[教師あり学習]]と、外から与えられた教師信号をもとに目的関数を最適化するという点で似ているが、以下の3点で異なる。 1. **i.i.d.を仮定しない**: 教師あり学習は各データが同じ分布からi.i.d.に生成されると仮定するが、強化学習では観測・報酬の分布が時刻や自分の行動に依存して変化する。 2. **能動的にデータを得る**: 教師あり学習の訓練データは受動的に与えられるが、強化学習では自分が行動してはじめて観測が得られる。そのため、今の情報で将来報酬を最大化するか新しい行動を試して情報を得るかという、報酬と探索のジレンマを解く必要がある。 3. **評価的フィードバックしか得られない**: 教師あり学習は最適な出力を直接教えてもらえる(教師的フィードバック)が、強化学習は報酬という間接的な評価しか得られず(評価的フィードバック)、どう修正すればよいかは学習手法自身が求める必要がある。 (Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4) ## 問題設定の分類学における位置づけ「訓練データが網羅的かサンプリングか」「ワンショットか逐次的か」「フィードバックが教師的か評価的か」という3軸(詳細は[[学習問題設定の分類]])で整理すると、強化学習は「サンプリング・逐次的・評価的」に対応する。同じ評価的フィードバックでもワンショットの場合はバンデッド問題と呼ばれ、無数の材料の組合せから最適な組合せを探す問題などが該当する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.5) ## 予測(価値推定)と制御(方策改善)という2軸による手法の系統化『ディープラーニングを支える技術〈2〉』第4章は、強化学習の具体的な学習手法を「予測」(与えられた方策のもとでの期待収益=価値の推定)と「(最適)制御」(価値を使って収益を最大化する方策を求める問題)という2つの軸で体系的に整理する、本 wiki 内で最も詳細な教科書ソースである。予測側にはMC学習・オンライン版MC学習・TD学習・nステップTD学習が並び、いずれも将来にわたる報酬の和を隣接時刻2つの価値の関係に分解する[[ベルマン方程式]]を土台とする。制御側は、価値を経由して方策を改善する価値ベース(SARSA=方策オン型・Q学習=方策オフ型)と、価値を経由せず方策のパラメータを勾配で直接最適化する[[方策勾配法]](REINFORCE・Actor-Critic法)に分かれる。ディープラーニングとの融合はこの2軸それぞれで具体化され、価値ベース側の代表が[[DQN]](Q学習をニューラルネットワークで関数近似)、方策勾配法と[[モンテカルロ木探索]]を組み合わせた実例が[[AlphaGo]]ファミリーである。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] §4.1, §4.5-§4.14) ## 横断的知見 - **教科書が与える古典的基礎と、LLM時代の応用研究との対応**: 本ページが第4章から積み増した「価値推定 vs 方策改善」という2軸は、LLM時代の強化学習研究にも形を変えて引き継がれている。[[人間フィードバックからの強化学習]]のPPOは第4章のActor-Critic法(方策勾配法+価値関数によるベースライン)の直接の子孫であり、[[検証可能報酬による強化学習]]のGRPOは価値関数モデルを別途学習せずグループ内相対比較でアドバンテージを近似する点で、第4章のREINFORCE(収益をそのまま行動価値の不偏推定として使う、価値関数モデルを持たない方策勾配法)に構造が近い。[[報酬ハッキング]]は、第4章が「強化学習は正解でなく報酬という相対評価しか得られない」と特徴づける問題設定そのものから生じる病理であり、DQNの楽観的推定バイアス(Double Q学習で対処)とは異なる種類の問題だが、いずれも「報酬という間接的指標を最適化することの脆さ」という共通の根を持つ。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]], [[人間フィードバックからの強化学習]], [[検証可能報酬による強化学習]], [[報酬ハッキング]]) - **[[エージェント型強化学習]]・[[強化学習スケーリング]]が扱う「LLMを方策とするオンポリシーRL」は、第4章の方策オン型/方策オフ型の区別と関数近似の議論を土台にしている**: エージェント型強化学習は、LLMのロールアウト生成コストが古典的RLのシミュレータ操作コストと性質が異なる点を強調するが、方策のパラメータを直接最適化するという骨格自体は第4章の方策勾配法から変わっていない。強化学習スケーリングが論じるモデル規模と学習効率の関係は、第4章が扱う「関数近似の精度」(価値・方策をニューラルネットワークで近似する際に生じる誤差)という論点の延長線上にある。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]], [[エージェント型強化学習]], [[強化学習スケーリング]]) - **[[好奇心駆動学習]]は、第4章が明示的に扱わない「探索と利用のジレンマ」への一つの発展的な回答である**: 第4章はε-greedy法という単純な探索戦略のみを紹介するが、好奇心駆動学習が導入する内発的報酬(予測誤差・新規性ベース)は、疎な外的報酬のもとでの探索効率をε-greedy法より高度に扱う手法として位置づけられる。両者とも同じ「探索と利用のジレンマ」への異なる解であり、第4章の範囲では前者(古典的な単純な探索)しか扱われていない。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] §4.9, [[好奇心駆動学習]]) - **SRE実務入門(2018年)が示す報酬設計の具体例は、報酬仮説の「単一スカラー化」を運用ドメインで裏づける**: 『SREの探求』第18章は、強化学習の例として「トラフィックストリーム内でセキュリティ問題の発生を特定できなかった場合にペナルティを課し、正しく発見できるたびにポイントを報酬として与える」という設計を挙げる。本ページが積み増した「報酬仮説」(目的を単一スカラー値の報酬最大化として扱えるという仮定、第2章)は、この具体例では「セキュリティ問題の正しい検出」という多面的な運用目標を、単一のスカラー(ペナルティ/ポイント)へ縮約する操作として現れており、報酬仮説の大胆な単純化が実務の異常検知・セキュリティ自動化という場面でどう具体化されるかを示す一次資料になる。同章はQ学習・TD学習(時間的差分学習)・ディープ敵対的ネットワークを強化学習の代表アルゴリズムとして列挙するが、本ページが整理する価値ベース(SARSA/Q学習)と方策勾配法という2軸への分解や、報酬と探索のジレンマの理論的な扱いには踏み込まない。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.4, [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] §18.4.1) ## 未解決の問い - 報酬仮説(目的を単一スカラーの報酬最大化として扱えるという仮定)が崩れる実問題(多目的最適化・安全性制約付き最適化)では、強化学習の枠組みはどこまで拡張できるか。 - 評価的フィードバックのもとでの報酬と探索のジレンマは、バンデッド問題(ワンショット)と強化学習(逐次的)とでどのように解き方が異なるか。 - 第4章の2軸整理(価値推定/方策改善)は、LLMのRL事後学習(GRPO・PPOなど)の設計選択をどこまで説明できるか。[[エージェント型強化学習]]・[[強化学習スケーリング]]との体系的な突き合わせは今後の課題。 - 第4章のモデルベース強化学習(世界モデル)は基礎的な紹介にとどまる。LLMエージェントが持つ「世界モデル」に相当する内部シミュレーション能力は、この古典的なモデルベース強化学習の枠組みとどう対応するか。 ## 関連 - source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] / [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] / [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] - concept: [[教師あり学習]] / [[学習問題設定の分類]] / [[人間フィードバックからの強化学習]] / [[強化学習スケーリング]] / [[検証可能報酬による強化学習]] / [[エージェント型強化学習]] / [[報酬ハッキング]] / [[好奇心駆動学習]] / [[ベルマン方程式]] / [[方策勾配法]] / [[モンテカルロ木探索]] / [[DQN]] / [[異常検知]] - entity: [[AlphaGo]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.4-§2.5. - 岡野原大輔, 『ディープラーニングを支える技術〈2〉』, 技術評論社, 2022, 第4章. - [[@2021__OReillyJapan__SREの探求 - Chapter 18 SREのための機械学習入門]] §18.4.1.