# ディープラーニングを支える技術〈2〉 ## 概要 岡野原大輔による『[[wiki/entities/ディープラーニングを支える技術|ディープラーニングを支える技術]]』の続編である。前書が技術基礎を扱ったのに対し、本書は発展的な内容に焦点を絞る。中心に据えるのは「なぜ大きなニューラルネットワークが学習できるのか」「なぜパラメータ数が多いのに汎化するのか」という二つの謎であり、これに深層生成モデルと深層強化学習を加えた四つを主題とする。 ## 書誌情報 - 書名: ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎 - 著者: 岡野原大輔([[岡野原大輔]]、[[Preferred Networks]]) - 出版社: 株式会社技術評論社(Tech × Books plus シリーズ) - 発行: 2022 年 5 月 4 日 初版第 1 刷(2022 年 6 月 8 日 初版第 2 刷) - ISBN: 978-4-297-12811-1 - 構成: 全 6 章(第 0 章〜第 5 章)、本文 305 ページ - 原本: `.raw/books/deep-learning-wo-sasaeru-gijutsu-2/` ## 構成と主要テーマ ### 導入 — 二つの謎の提示(第0章) 本書全体の見取り図を与え、以降の章が何に答えるのかを予告する。 → [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 0 ディープラーニングとは何か]] — 学習の非凸最適化・過剰パラメータ汎化という二つの謎、生成モデル、深層強化学習、今後の課題を予告する導入章 ### 謎の解明 — なぜ学習でき、なぜ汎化するのか(第1〜2章) 本書の題名にある「ニューラルネットワーク最大の謎」に正面から答える中核部分。従来の理論と実際の振る舞いが食い違う理由を、最適化と汎化の両側から解く。 → [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 1 ディープラーニングの最適化]] — 非凸最適化にもかかわらず学習が成功する理由を Star-convex Path から説き、条件数・モーメンタム法・学習率自動調整・ハイパーパラメータ最適化で学習の効率化を扱う → [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] — パラメータ数が多くても汎化する矛盾を、勾配降下法によるノルム最小化・フラットな解・宝くじ仮説からなる陰的正則化で解明し、明示的正則化を補完的に位置づける ### 発展的テーマ — 生成と行動(第3〜4章) 著者が個人的に関心を持ち今後重要になると考えるテーマ。分類・回帰に続く二つの成功領域を扱う。 → [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 3 深層生成モデル]] — 生成モデルを「生成を通じて複雑な世界を理解する」視点で捉え、VAE・GAN・自己回帰モデル・正規化フロー・拡散モデルの 5 手法を生成過程・学習原理・長所短所から比較する → [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 4 深層強化学習]] — 強化学習を教師あり学習との違いから特徴づけ、ベルマン方程式による価値推定と方策勾配法による方策改善の 2 軸で手法を体系化し、DQN と AlphaGo で深層強化学習の実例を示す ### 展望(第5章) → [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 5 これからのディープラーニングと人工知能]] — 自己教師あり学習の発展、Bitter Lesson をめぐる計算性能と汎用手法の論争、不変性・同変性による帰納バイアスの組み込み、システム 2 の未達を論じる 2022 年時点の見通し ## 影響と位置づけ 前書『[[wiki/entities/ディープラーニングを支える技術|ディープラーニングを支える技術]]』が「何がどう動くのか」を扱う技術基礎書だったのに対し、本書は「なぜそれが成り立つのか」を扱う。両書はもともと一冊として執筆され、分量と主題の広がりから二分冊になった経緯を持つ(むすびに代えて)。したがって本書は独立した続編というより、前書が定式化した対象に理論的説明を与える後半部として読める。実際、前書第 2 章が勾配降下法の更新式と計算量のトレードオフを扱うのに対し本書第 1 章は非凸最適化での成功理由を問い、前書第 2 章が汎化能力を学習の目的と定義するのに対し本書第 2 章はその汎化がなぜ成立するのかを問う、という対応が章単位で成立している。 wiki の側から見ると、本書は論文由来の concept 群に対して**古典的基礎と教科書的整理を与える横串のソース**になっている。とくに強化学習では、既存の [[エージェント型強化学習]]・[[強化学習スケーリング]]・[[人間フィードバックからの強化学習]]・[[検証可能報酬による強化学習]]・[[報酬ハッキング]] といった LLM 時代の論文由来ページに対し、本書第 4 章が価値推定と方策改善という古典的な 2 軸の基礎を与える。生成モデルでも同様に、[[拡散モデル]] 単体の論文ページに対して、VAE・GAN・自己回帰モデル・正規化フローと並べた比較の軸(抽象化表現・尤度評価・学習安定性・生成忠実度・生成速度)を与える。 また本書は 2022 年 5 月刊行であり、大規模言語モデルが広く普及する直前の時点に立つ。第 5 章が述べる見通し(基盤モデルを一部の組織が作り、多くの用途はファインチューンや蒸留で対応するようになる)は、その後の展開と突き合わせて読める記録としての価値を持つ。 ## 関連 - 前書: [[wiki/entities/ディープラーニングを支える技術|ディープラーニングを支える技術]] - 著者: [[岡野原大輔]] / 組織: [[Preferred Networks]] - 中心概念(謎の解明): [[勾配降下法]] / [[凸最適化]] / [[条件数]] / [[汎化能力]] / [[暗黙的正則化]] / [[宝くじ仮説]] / [[深層学習の汎化]] - 中心概念(生成): [[VAE(変分オートエンコーダ)]] / [[GAN(敵対的生成ネットワーク)]] / [[自己回帰モデル]] / [[正規化フロー]] / [[拡散モデル]] - 中心概念(強化学習): [[強化学習]] / [[ベルマン方程式]] / [[方策勾配法]] / [[モンテカルロ木探索]] / [[DQN]] / [[AlphaGo]] - 中心概念(展望): [[自己教師あり学習]] / [[不変性と同変性]] / [[スケーリング則]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022.