# 深層学習の汎化 Navigation: [[index]] | [[_index|concepts]] ## 定義 深層学習の汎化とは、パラメータ数 $d$ がサンプル数 $n$ を大幅に超える**過パラメータ化**(overparameterization)された深層ニューラルネットワークが、古典的な統計的学習理論の予測に反して良好なテスト性能を示す現象、およびその理論的説明の総称である。古典的な汎化誤差バウンドが $d > n$ で自明(バウンド $\ge 1$)になるにもかかわらず、実際の深層学習モデルは高い汎化能力を示すことが知られており、これは現代の機械学習理論における主要な未解決問題のひとつである。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]]) ## 古典的理論の崩壊 カバリングナンバーを用いたバウンドでは、パラメータ次元 $d$ が大きくなるにつれ: $|\hat{R}_n(\Theta^*) - R(\Theta^*)| \le 2\sqrt{\frac{d\log(\cdots)}{2n}}$ 右辺が $d > n$ の場合に 1 を超え、意味のある上界を与えない。深層学習では $d$ が数百万から数百億、$n$ が数百万件のオーダーとなり、$d \gg n$ の状況が一般的である。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]]) ## 損失地形の構造(盆地仮説) 深層ニューラルネットワークの損失地形(loss landscape)は大きく**広大な盆地**(flat minima)と**先鋭な谷**(sharp minima)からなると考えられている。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]]) ### 確率的勾配降下法による盆地への収束 - 確率的勾配降下法(SGD)は先鋭な谷からは「飛び出して」、広大な盆地に収束する - よく訓練されたモデルは量子化・精度削減後でも機能する → パラメータがある程度ブレても損失は低い → 広大な盆地にいる証拠 ### 盆地の個数仮説 - **モデルマージ説**: 本質的な盆地は 1 個しかない(異なる訓練で得たパラメータの単純平均がうまくいく理由) - **定数個説**: 本質的に有効な推論方法は定数 $K$ 個しかなく、訓練後に辿り着きうる盆地も $K$ 個 盆地の個数が定数 $K$ で、標本によらず毎回この $K$ 個のいずれかに収束すると仮定できれば: $\text{確率} \quad 1 - 2K\exp(-2nt^2) \quad \text{で誤差} \quad \sqrt{\frac{\log(200K)}{2n}} + (\text{盆地内変動})$ このバウンドは**パラメータ次元 $d$ に依存しない**。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]]) ## 未解決部分 以下はいずれも現在未解明または議論中: - 本質的な盆地の個数が定数であることの厳密な証明とその成立条件 - 盆地内での損失変動の定量化 - どのような仮定のもとで上記バウンドが厳密に成立するか ## 関連する研究方向 - **二重降下**(double descent): サンプル数やモデルサイズを増やしてパラメータ補間臨界点を超えると再びテスト誤差が下がる現象。過パラメータ化の有益性を示すもう一つの観察。[[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.1のコラムは、訓練誤差が0になるのに必要なモデルサイズよりさらにモデルを大きくすると期待汎化誤差が再度下がり始める現象と説明し、モデル表現力がサンプルサイズよりずっと大きい場合にバリアンスが再度下がるために起きるとする。ニューラルネットワークのように同じ関数を異なるパラメータ表現で表せる特異モデルで、小さい初期値から勾配降下法で学習し、入力が出力に弱く関係する条件下では成立が示されているが(Belkin, PNAS 2018)、大きなモデルで一般に起きるかは議論中とする(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.1)。 - **暗黙正則化**: SGD が明示的な正則化なしにモデルを「単純な解」に誘導するという仮説。詳細と続巻ch.2による3機構(ノルム最小化・フラットな解・宝くじ仮説)への分解は[[暗黙的正則化]]を参照。 - **PAC-Bayes**: 事後分布のランダム予測器に対して汎化バウンドを与える枠組み。過パラメータ化でも有効なバウンドを目指す。 - **均一安定性**(uniform stability): アルゴリズムの安定性から汎化を保証する手法。 - **宝くじ仮説**(lottery ticket hypothesis): パラメータ数が多いほど「当たりくじ」サブネットワークが指数的に見つかりやすくなるという仮説。過パラメータ化がなぜ汎化に有利かを、盆地仮説(損失地形の幾何)ともノルム最小化とも異なる組合せ論的観点から説明する。詳細は[[宝くじ仮説]]を参照。 ## 横断的知見 - 佐藤 2025 の論理展開は「なぜ深層学習の理論が難しいか」を最短経路で説明している: 古典的バウンドは $d$ に比例して悪化するため、$d \gg n$ の深層学習では破綻し、代替アプローチとして損失地形の幾何学的構造への着目が必要になる。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]]) - **入門書(ch.2)は「盆地の個数が定数」という理論的仮説とは別に、なぜ過パラメータ化そのものが汎化に必要なのかを、ロバスト性(滑らかさ)の必要条件という異なる角度から補強する**: joisino2025は損失地形の盆地構造(フラットミニマ)がSGDによって選ばれることを主軸に据えるが、[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.3は同じ「なぜニューラルネットワークは多パラメータでも汎化するか」という問いに対し、Bubeck et al.(NeurIPS 2021, "A Universal Law of Robustness via Isoperimetry")を引用し、単に訓練データにフィッティングするだけでなくその周辺でも関数値が滑らかであるためには、従来考えられていたより遥かに多くのパラメータ数を持つことが必要条件であると述べる。これは「過パラメータ化→汎化」という同一の経験則に対し、joisino2025が最適化の結果(SGDがどの解に収束するか)から説明するのに対し、ch.2が引用するBubeck et al.は入力の摂動に対する安定性(ロバスト性)の要求から説明するという、異なる理論的経路による独立した根拠を追加する。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.3) - **ch.4は「フラットな解がなぜ汎化に有利か」という理論的主張(joisino2025)に対し、「フラットな解にどう到達するか」という実務上の機構を独立に与える**: joisino2025は広大な盆地(フラットミニマ)にSGDが収束すること自体を汎化の主要因と位置づけるが、その盆地にどう到達するかというメカニズムには立ち入らない。[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.2は、[[正規化層]](バッチ正規化)が活性値・勾配を安定させることで学習率を大きくでき、大きな学習率を使うこと自体がフラットな解への到達を助けると述べ、正規化なしでは勾配が大きすぎて学習率を小さくせざるを得ずシャープな解にとどまってしまうと対比する。両ソースを合わせると、「フラットな解=汎化性能が高い」という主張(joisino2025、最小記述量原理・PAC-Bayesで理論的に裏づけ)と「フラットな解にどう到達するか=正規化層による学習率の引き上げ」という実装レベルの機構(ch.4)が、理論と実践という異なる抽象度で相補的に結びつく。さらにch.4は「正規化層が汎化を改善するのは、当初考えられていたような暗黙的なノイズ正則化としてではなく、学習率を大きくできることと最終層直前のノルム増大の抑制による」と明記しており、これは[[暗黙的正則化]]ページの「訓練アルゴリズムの特性による単純解選好」という枠組みとは異なる、正規化層固有の機構であることを示す。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.2) - **続巻ch.2は、joisino2025が「損失地形の盆地」という幾何学的な観点から扱う過パラメータ化の有益性に対し、バイアス-バリアンス分解という古典的な統計理論の枠組みそのものが破綻するのではなく「ニューラルネットワークが暗黙のうちにバイアス-バリアンス曲線の望ましい側を選び続ける」という読み替えを与える**: joisino2025は古典的なカバリングナンバー由来のバウンドが$d>n$で自明になる(本ページ「古典的理論の崩壊」節)ことを起点に、代替として損失地形の盆地構造へ議論を進める。[[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.1は同じ「なぜ過パラメータ化しても汎化するか」という問いに対し、バイアス-バリアンス分解([[バイアス-バリアンストレードオフ]]参照)の枠組み自体は温存したまま、「ニューラルネットワークはバイアス-バリアンス理論からは低バイアス・高バリアンスの過学習領域にいると予想されるが、実際には陰的正則化によってバリアンス項が自動的に抑えられている」と説明する。両者は「古典理論のバウンドを捨てて新しい幾何学的な理論に置き換える」(joisino2025)のと「古典理論の枠組み(バイアス-バリアンス)は保持しつつ、そこに働く未知の抑制メカニズム(陰的正則化)を突き止める」(続巻ch.2)という、異なる理論的戦略を取っていることが2ソースの突き合わせで明らかになる。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.1-§2.2) - **続巻ch.2の「宝くじ仮説」は、joisino2025の「盆地の個数は定数個」という仮説に、組合せ論的な代替(あるいは補完)説明を与える**: joisino2025は損失地形上の本質的な盆地の個数が定数$K$であれば$d$に依存しないバウンドが得られると述べるが、なぜ盆地の個数が(パラメータ数に依存せず)定数に収束するのかという機構には立ち入らない。[[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2の[[宝くじ仮説]]は、パラメータ数が増えるとサブネットワーク(くじ)の数が指数的に増える一方で、実際に学習で生き残る(=最終的に非ゼロの重みを持つ)サブネットワークのサイズは真のモデルを表現するのに必要な最小サイズに収束すると述べる。これは「パラメータ数によらず到達する解のクラスが実質的に限られる」という点でjoisino2025の盆地仮説と同じ結論を支持するが、その理由を損失地形の幾何(盆地)ではなく初期化時のサブネットワークの組合せ論的な多様性に求める点で、独立した根拠を追加する。(Source: [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) ## 未解決の問い - 損失地形の盆地の個数が定数であると仮定できる条件は何か。 - SGD のノイズがどの程度、先鋭な谷を避けて盆地に収束させるメカニズムを担っているか。 - 二重降下現象と盆地仮説はどのように関連するか。続巻ch.2は二重降下をバリアンスの再低下として説明するが、これは盆地仮説の「本質的な盆地数が定数」という主張とどう整合するか、本ページではまだ検証していない。 - 正規化層による学習率の引き上げがフラットな解への到達を助けるという実務上の機構(ch.4、および続巻ch.2 §2.2の予告的な一文)と、SGDが盆地に収束するという理論的機構(joisino2025)は、同じ現象の異なる記述なのか、それとも独立に効く2つの要因なのか。正規化層を使わずに大きな学習率だけを設定した場合、同じフラットな解への到達効果は再現されるか。 - 宝くじ仮説による「盆地数が実質的に限られる」という組合せ論的説明と、joisino2025の幾何学的な盆地仮説を、統一的な理論(たとえば両者を特殊ケースとして含む枠組み)のもとで比較できるか。 ## 関連 - [[汎化誤差バウンド]] — 古典的バウンドが崩壊する文脈 - [[カバリングナンバー]] — $d$ 依存性が問題になる理由 - [[PAC学習]] — 汎化を定量化する枠組みとその限界 - [[佐藤竜馬]] — 著者(『深層ニューラルネットワークの高速化』でも関連する理論を解説) - [[正規化層]] — フラットな解への到達を助ける実装レベルの機構 - [[暗黙的正則化]] — ノルム最小化・フラットな解・宝くじ仮説という3機構への分解 - [[宝くじ仮説]] — 過パラメータ化の有益性への組合せ論的説明 - [[バイアス-バリアンストレードオフ]] — 古典理論の枠組み自体は保持する続巻ch.2の立場 - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] - [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] — バイアス-バリアンス理論の枠組みを保持したまま陰的正則化で汎化を説明する、盆地仮説とは異なる理論的戦略 ## 出典 - [[joisino-機械学習理論入門-2025|@2025__joisino__絶対に分かる機械学習理論]] — 佐藤竜馬、2025-03-17 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.3, 第4章, §4.2. - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第2章, §2.1-§2.2.