# DQN ## 定義 DQN(Deep Q Network)は、行動価値関数 $Q(s,a;\theta)$ をニューラルネットワークで関数近似し、Q学習によって最適制御を学習する手法である(Mnih+, Nature 2015)。ディープラーニングと強化学習を組み合わせた最初の大きな成功事例であり、これをきっかけにディープラーニングと強化学習の融合が本格的に進んだ。DQNは、限られた環境だけで強化学習の性能を評価するのではなく、まったく異なるジャンルのタスクを単一のアルゴリズムで学習させ平均スコアで評価すべきだという思想に基づき、Atari 2600の49種類のゲームを共通の評価基準として用いた。状態としてゲーム画面(入力画像)を受け取り、CNNで特徴ベクトルに変換したうえで、各行動の行動価値を出力する。パラメータ $\theta$ は次の目的関数を最小化するように更新される: $L(\theta) = \mathbb{E}_{(s,a,r,s')\sim B}\left[\left(r+\gamma\max_{a'}Q(s',a';\theta^-) - Q(s,a;\theta)\right)^2\right]$ これはQ学習そのもの(ベルマン最適方程式のTD目標 $r+\gamma\max_{a'}Q(s',a')$ に $Q(s,a)$ を近づける更新)を、リプレイバッファ $B$ からのランダムなサンプリングのもとで行うものである。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] §4.13) ## 学習を安定化する2つの工夫 強化学習とディープラーニングを単純に組み合わせると学習が不安定になることが知られており、DQNはその主要因を突き止めて次の2つの工夫を導入した(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] §4.13): 1. **学習目標の固定化**: 学習目標 $r+\gamma\max_{a'}Q(s',a';\theta)$ の中で現在の価値関数 $\theta$ をそのまま使うと、パラメータを更新するたびに目標自体も変わってしまい学習が振動する。そこで一定期間ごとにしか更新しない固定パラメータ $\theta^-$ を用意し、$r+\gamma\max_{a'}Q(s',a';\theta^-)$ を学習目標とする。 2. **リプレイバッファ(replay buffer)の利用**: 過去の経験 $(s,a,r,s')$ をバッファに貯めておき、そこからランダムにサンプルを読み出して更新する。少ない経験データでの更新は現在のデータへの過学習を招くが、大量のリプレイバッファを使うことでこれを抑えられる。大きなリプレイバッファを使えること自体、方策オフ型学習であるQ学習の大きな特徴である。 ## Double Q学習 Q学習を関数近似で行うと、行動価値の推定誤差のせいで $\max_{a'}Q(s',a';\theta)$ が真の最大値より大きく出やすい(楽観的推定バイアス)という問題がある。Double Q学習(van Hasselt+, AAAI 2016)は2つの独立した行動価値関数モデル $Q(s,a;\theta^a)$・$Q(s,a;\theta^b)$ を用意し、一方 $\theta^a$ で価値が最大となる行動を選び、もう一方 $\theta^b$ でそのTD目標を評価する。2つの独立なネットワークが同時に同じ方向へ誤差を持つ確率は低いため、楽観的な推定値を目標にすることを回避できる。DQNが元々学習安定化のために用意していた固定パラメータ $\theta^-$ と更新中のパラメータ $\theta$ を、そのまま $\theta^a,\theta^b$ として流用できる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] §4.13) ## 横断的知見 1 ソース目のため、複数ソースの突き合わせによる横断的知見は今後の蓄積に委ねる。DQNの2つの工夫(学習目標の固定化・リプレイバッファ)はいずれも「オンポリシー的な更新に伴う不安定性を、何らかの形でオフポリシー化・非同期化して緩和する」という設計思想の初期の実例であり、[[エージェント型強化学習]] concept が蓄積するLLMのRL事後学習における非同期パイプライン・パーシャルロールアウトなどの安定化技術と、目的(学習の安定化)の水準で共通性がある可能性がある(未検証)。 ## 未解決の問い - Double Q学習の楽観的推定バイアス対策は、LLMのRL事後学習(GRPO・PPOなど)で観測される報酬推定のバイアス(例: 報酬モデルの過大評価)にも同様の構造で現れるか。関数近似による価値推定という共通点はあるが、本チャプターの範囲では検証されていない。 - DQNのリプレイバッファは方策オフ型学習(Q学習)の性質に依存しているが、方策勾配法(オンポリシー的な性質を持つ)でも同様の経験再利用は可能か。本チャプターでは方策オン型/方策オフ型の区別の文脈でのみ触れられており、具体的な適用例は示されていない。 ## 関連 - source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] - concept: [[強化学習]] / [[ベルマン方程式]] - entity: [[AlphaGo]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術〈2〉』, 技術評論社, 2022, 第4章, §4.13. - V. Mnih and et al., "Human-level Control Through Deep Reinforcement Learning", Nature, 2015.(章内で引用される原論文) - H. van Hasselt and et al., "Deep Reinforcement Learning with Double Q-learning", AAAI, 2016.(章内で引用される原論文)