暗黙的正則化 - yuuk1's Digital Garden

# 暗黙的正則化 ## 定義暗黙的正則化(implicit regularization)とは、正則化関数や重み減衰などの技法を用いて明示的な正則化を施さなくても、訓練アルゴリズムの特性により自動的に単純なパラメータが得られることである。「暗黙的バイアス(implicit bias)」とも呼ばれる。(Source: [[joisino-アンナカレーニナの法則-2025]]) ## メカニズム直観的には、訓練アルゴリズム(勾配降下法)は単純な仮説から順番に探索を行い、損失が下がらなくなった時点で停止する。 1. **初期化**: 小さいノルムから出発する 2. **探索**: ノルム(複雑さ)が徐々に増えながら損失が低下 3. **停止**: 最初に出会った「良い解」(十分に損失が低い解)で停止この結果、**データに適合する仮説のうち最も単純なもの**が選ばれる傾向がある。 ``` ノルムが小さい → 表現できる関数が限られる → 単純な解ノルムが大きい → 複雑な関数を表現できる → 複雑な解の可能性 ``` ただし「ノルムが小さいならば単純な手続きを表す」は保証されるが、「ノルムが大きいならば複雑な手続きを表す」は必ずしも保証されない。 ## 理論的根拠ノルム以外にも、様々な指標で同様の現象が確認・証明されている。 | 指標 | 論文 | |---|---| | パラメータのランク | Arora et al., NeurIPS 2019 (arXiv: 1905.13655) | | ロスランドスケープの平坦性 | Cohen et al., ICLR 2021 (arXiv: 2103.00065) | | 決定境界マージンの広さ | Soudry et al., JMLR 2018 (arXiv: 1710.10345) | (Source: [[joisino-アンナカレーニナの法則-2025]]) ## モデル表現収束への寄与暗黙的正則化は[[モデル表現収束]]の主要因の一つである。 - 異なるランダムシードから出発して独立に訓練しても、どちらも単純な解へ収束する - 「1 + 1 = 2」を計算するとき、理論上は「1 + 3459749762 - 3459749762 + 1 = 2」という回り道も可能だが、訓練で自然に得られる手続きは「1 + 1 = 2」という直接的なものである - この性質により、異なるモデルが似た大域的構造を持つ表現に自然と収束する ## 暗黙的カリキュラムとの関係暗黙的正則化と密接に関連する現象として**暗黙的カリキュラム**(implicit curricula)がある(Wu et al., ICLR 2021, arXiv: 2012.03107)。明示的なカリキュラムを行わず、ランダムな順序で訓練例を示しても、モデルは自然と簡単な例から順番に学習していく。 - 「例の難しさ」が複数のアーキテクチャ(FC, VGG11, VGG16, ResNet18, ResNet50 等)にわたって一貫して共有されている - 訓練の早い段階で大域的な単純構造が獲得され、後の段階で局所的な複雑構造が付け加わる - **LLM の 1 エポック訓練では**: 難しいデータを訓練初期に示しても学習できず機会を失う → カリキュラムの明示的設計が重要 - **多エポック訓練では**: 後のエポックで自然に補完されるためカリキュラムの意義が薄い ## 陰的正則化を構成する3つの機構(続巻ch.2) [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2は、書籍全体の1章を丸ごと使って「陰的正則化(implicit regularization)」を解説する、wiki内で最も詳細な教科書的ソースである。同章は陰的正則化を、ノルム最小化・フラットな解・[[宝くじ仮説]]という3つの具体的な機構に分解する。 1. **ノルム最小化・低ランク化**: 勾配降下法は小さな初期値から出発した場合、目的関数の値を小さくするだけでなく、解の集合の中でもパラメータのL2ノルムが最小となる解を発見する。線形回帰・行列分解・線形ニューラルネットワークではこれが証明されている。またある層の勾配は入力と出力誤差の外積として得られるため、パラメータの自由度がデータの自由度(多様体仮説が想定する低次元構造)に制約され、低ランクになりやすい。 2. **フラットな解への到達**: SGDの勾配ノイズにより、パラメータ空間はシャープな解の領域から脱出しやすく、フラットな解の領域には留まりやすい。フラットな解は最小記述長(MDL、粗い量子化でも訓練誤差の小さい点を含められる)とPAC-Bayes(事前分布から事後分布へのKLダイバージェンスが目的関数のヘシアンのトレースに対応し、曲がりが小さいほど小さい)の2つの理論的観点から、記述量が小さく汎化性能が高いことが説明される。 3. **宝くじ仮説**: ランダム初期化された密なネットワークが含む無数のサブネットワーク(くじ)のうち、良い初期値の組み合わせを持つ「当たりくじ」の学習が相対的に加速し、他のサブネットワークの重みが抑制されていく。ネットワークが大きいほどくじの数が指数的に増え、当たりくじが見つかりやすくなる。 (Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) ## 横断的知見 - **暗黙的な単純解選好が存在しても、明示的正則化が不要になるとは限らない**: 暗黙的正則化は最適化過程が単純な解を選ぶ傾向を説明する。一方、Penn TreebankのLSTMでは正則化なしでモデルを大きくすると過学習し、規模と訓練期間を制約せざるを得なかった。非再帰結合への[[ドロップアウト]]は、大規模モデルを長く訓練しながらテストパープレキシティを改善した。暗黙的バイアスと明示的な確率的制約は代替物ではなく、条件に応じて補完しうる。(Source: [[joisino-アンナカレーニナの法則-2025]], [[@2026__30papers__Recurrent Neural Network Regularization]]) - [[スケーリング則]]における「アーキテクチャ独立性」(depth/width 比等の詳細設計の影響が小さく、パラメータ総数が支配的)とは方向性が異なる観察だが、両者は「大規模訓練での普遍的傾向」という点で関連する。 - **本ページの「メカニズム」節が述べる訓練軌跡(小さいノルムから出発し、ノルムが徐々に増えながら損失が下がり、良い解で止まる)は、2009年のESLが「早期停止(early stopping)」として明示的に記述していた同じ現象の、別の言葉での再発見にあたる**: [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] §11.5.1・§11.5.2は、ニューラルネットワークの重みが0近傍から出発するとシグモイドのほぼ線形な部分で動作し「モデルはほぼ線形モデルから出発して重みが増えるにつれ非線形性を獲得する」と述べ、続けて「重みは0近傍の高度に正則化された(線形の)解から出発するため、[大域的最小値に達する前に訓練を止める]早期停止は最終モデルを線形モデルの方向へ縮小する効果を持つ」と明記する。これは本ページのメカニズム節が2025年の文献をもとに述べる「小さいノルムから出発し、ノルムが増えながら損失が下がり、最初に出会った良い解で止まる」という3段階の説明と、対象(ニューラルネットワークの重み)・機構(初期値の小ささ→単純な解→早期の停止)ともに一致する。ESLは「暗黙的正則化」という呼称こそ使わないが、早期停止という手続きが最適化の軌跡そのものに由来する正則化効果を持つことを、統計学の教科書として2009年の時点ですでに明示的に記録していた。ただしESLは早期停止を明示的regularizationの代替手段として提示するのに対し、本ページの暗黙的正則化はより広く「正則化を意図しなくても訓練アルゴリズムの特性上自動的に生じる」現象一般を指す点で射程が異なる。(Source: [[joisino-アンナカレーニナの法則-2025]], [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] §11.5.1, §11.5.2) - **入門書(ch.2)は、SGDの暗黙の正則化効果を「ノイズによるフラットな解への到達」として簡潔に述べ、ESL(早期停止)・joisino(ノルム/平坦性/マージンによる指標)に続く3つ目の独立な言及元になる**: 本ページは早期停止(ESL第11章、2009年)とノルム・平坦性・マージンといった定量的指標(joisino2025)という2系統から暗黙的正則化を蓄積してきたが、[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.6は「確率的勾配降下法は更新時に適当なノイズが入ることで、悪い局所解から脱出できるだけでなく、当初は想定していなかった汎化性能を上げる『正則化効果』があることがわかっています……フラットな解に到達しやすくしていると考えられています」と述べ、SGDのミニバッチノイズそのものを暗黙的正則化の直接的な原因として名指しする。これはjoisino2025の「平坦性」指標(Cohen et al., ICLR 2021)と同じ現象を指すが、ch.2は数式や引用文献を伴わない最も簡潔な定性的説明にとどまり、悪い局所解からの脱出(最適化の効率)と汎化性能向上(統計的な効果)という2つの異なる利点を並列に述べる点で、本ページのメカニズム節(小さいノルムから出発し停止する軌跡)とは異なる角度(ノイズによる探索)からの説明を追加する。(Source: [[joisino-アンナカレーニナの法則-2025]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.6) - **ch.4は、正規化層の汎化改善効果を「意図せぬ暗黙的正則化」として説明する初期の仮説を明示的に退け、本ページが扱う暗黙的正則化とは異なる機構(学習率の引き上げ・最終層直前のノルム抑制)を対置する**: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.2は「最初は正規化層が近似するノイズが意図せず正則化としての役割を担っているのではと考えられていましたが、現在の理解では、正規化層を使うことで活性値や勾配が安定し、勾配降下法の学習率を大きくしても発散せず学習できるようになります。そして、大きな学習率を使うと、汎化性能が高い『フラットな解』に到達しやすくなる」と述べ、続けて「バッチ正規化が汎化性能を改善する最も大きな理由は、最終層直前のノルムが大きくなるのを抑えていることだと報告されています」と明記する。これは本ページのメカニズム節がノルム・平坦性・マージンといった量を「最適化軌跡が単純な解へ収束する暗黙のバイアス」として説明するのとは異なり、正規化層という明示的な構造の導入が(意図せぬノイズとしてではなく)学習率を上げられるという間接的な経路でフラットな解への到達を助けるという、より具体的な因果連鎖である。つまりバッチ正規化の汎化改善効果は、当初「暗黙的正則化の一種」と誤解されていたが、実際には「正規化という明示的な構造変更が、暗黙的正則化と同じ帰結(フラットな解)を別の経路でもたらす」という、本ページの射程外にある独立した機構だと分かる。この対比は[[深層学習の汎化]]ページの横断的知見にも記録した。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.2) - **続巻ch.2の「ノルム最小化・低ランク化」は、joisino2025が表で列挙する「パラメータのランク」(Arora et al., NeurIPS 2019)という指標に、具体的な最適化軌跡としての機構を与える**: joisino2025の「理論的根拠」表は、ノルム・ロスランドスケープの平坦性・決定境界マージンの広さという3指標を並列に挙げるにとどまり、それぞれの機構には立ち入らない。[[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2は、勾配降下法が小さな初期値から出発し逐次的に更新することで解集合の中でも最小ノルムの解に到達するという軌跡を線形回帰・行列分解・線形ニューラルネットワークについて具体的に説明し、さらに層の勾配が入力と出力誤差の外積として得られることから低ランク性が導かれる過程を述べる。これは本ページの「メカニズム」節が2025年の文献をもとに述べる3段階の軌跡(初期化→探索→停止)と同一の説明を、より具体的な数理的根拠(外積によるランク制約)を伴って独立に与えるものであり、joisino2025の表が引用する Arora et al. の「ランク」指標がなぜ生じるかを橋渡しする。(Source: [[joisino-アンナカレーニナの法則-2025]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) - **ESLの早期停止(1990年代)・joisino2025のノルム/平坦性/マージン指標(2025年)に続き、続巻ch.2は「宝くじ仮説」という第4の独立な機構を陰的正則化の説明に加える**: 本ページはすでに早期停止(ESL第11章)とノルム・平坦性・マージンという定量的指標(joisino2025)の2系統を蓄積してきたが、[[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2が説明する[[宝くじ仮説]](パラメータ数が多いほど「当たりくじ」サブネットワークが見つかりやすく、他のサブネットワークの重みが抑制される)は、既存の2系統のどちらとも異なる「なぜ多パラメータでも過学習しないか」への説明であり、パラメータ数の増加がむしろ汎化に有利に働く理由を組合せ論的な観点(サブネットワーク数の指数的増加)から与える点で独自性を持つ。同章はこの宝くじ仮説がフラットな解の条件(当たりくじ以外のパラメータを動かしても出力がほとんど変わらない)と表裏一体であるとも述べており、3つの機構(ノルム最小化・フラットな解・宝くじ仮説)が独立ではなく相互に関連することを示唆する。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] §11.5.1-§11.5.2, [[joisino-アンナカレーニナの法則-2025]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) - **同一書籍シリーズ内で、前巻ch.2の一文(SGDノイズによるフラットな解への到達)が、続巻ch.2で丸ごと1節へ展開される**: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.6は「確率的勾配降下法は更新時に適当なノイズが入ることで……フラットな解に到達しやすくしている」と簡潔に述べるにとどまるが、続巻ch.2 §2.2はこの主張を、SGDノイズがなぜシャープな解より高い確率でフラットな解にとどまらせるかという力学的説明、フラットな解の汎化性能が高い理由を示す最小記述長(MDL)の量子化ビット数による具体的な導出、PAC-Bayesのヘシアンのトレースを用いた導出という3段階に分解して詳述する。同じ書籍シリーズが入門編から発展編へと進むにつれ、同一の主張がどのように理論的な厚みを増していくかを示す事例である。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] §2.6, [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) - **続巻ch.2は、ch.4が扱う正規化層による学習率引き上げ効果を、正規化層を導入する前の段階ですでに一文で予告している**: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2は「正規化層を使うと汎化性能が高くなるという理由も、正規化層を使うことで目的関数が発散しにくくなり、学習率を大きくしても発散しないようになり、それによりフラットな解に到達できる可能性を高くし……」と、正規化層(バッチ正規化)の効果をフラットな解到達の文脈で先取りして述べる。これは[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.2が正規化層固有の機構として詳述する内容(本ページ上記の横断的知見)と同一書籍シリーズ内で整合しており、正規化層による汎化改善は「学習率を上げられることを介したフラットな解への到達」という単一の因果連鎖として、続巻全体で一貫して説明されていることがわかる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.2) ## 未解決の問い - 暗黙的正則化が働く条件は何か。過学習が起きる領域では成立しないか。 - 暗黙的カリキュラムはどのモデル規模・データ規模から顕著になるか。極めて弱いモデルでは傾向が乱れることが示されているが(Wu et al., 2021)、より大規模なモデルではどうか。 - 暗黙的正則化の強さとモデル表現収束の速さには定量的な対応関係があるか。 - モデル規模、データ量、訓練期間から、暗黙的正則化だけで十分な条件と、ドロップアウトのような明示的正則化が必要な条件を予測できるか。 - ESLの早期停止は「重みが線形解から出発して非線形性を獲得する」という単一の軌跡上の現象として記述されるが、本ページが挙げるランク・平坦性・マージンといった指標のどれと最も対応するか。早期停止で得られる解は、大域的最小値まで訓練してから重み減衰で正則化した解と、パラメータ空間上で同じ場所に至るのか、それとも異なる種類の解を生むのか。 - 正規化層による汎化改善(学習率の引き上げ経由でフラットな解へ到達)と、SGDノイズによる暗黙的正則化(ch.2)は、どちらも「フラットな解」という同じ着地点を持つが、両者を同時に使った場合に効果は加算的か、それとも一方が他方を代替するか。 - 続巻ch.2が挙げる「ノルム最小化」「フラットな解」「宝くじ仮説」の3機構は、互いにどこまで独立か。ノルム最小化と宝くじ仮説はいずれも最終的に「不要なサブネットワーク・重みの抑制」という同じ帰結を指しているように見えるが、この2つが同一現象の異なる記述なのか、独立に効く別々の機構なのかは続巻ch.2でも明示的に検証されていない。 - 宝くじ仮説(Frankle and Carbin, 2019)は、joisino2025が列挙する「ノルム」「平坦性」「マージン」という3指標のいずれとも異なる「サブネットワーク数の組合せ論的増加」という説明を与えるが、この機構を定量的なバウンド(汎化誤差バウンドの形)に落とし込む研究は本ページではまだ追えていない。 ## 関連 - 概念: [[モデル表現収束]] / [[プラトン的表現仮説]] / [[スケーリング則]] / [[統計的機械学習]] / [[言語モデル事前学習]] / [[ドロップアウト]] / [[正規化層]] / [[深層学習の汎化]] / [[宝くじ仮説]] / [[汎化能力]] - ソース: [[joisino-アンナカレーニナの法則-2025]] / [[@2026__30papers__Recurrent Neural Network Regularization]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]](早期停止という同じ機構の1990年代からの記述) / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]](SGDノイズによるフラットな解への到達という簡潔な言及) / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]](正規化層の汎化改善は暗黙的正則化ではないと明示する反例) / [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]](ノルム最小化・フラットな解・宝くじ仮説という3機構への分解。本ページ最厚の教科書的ソース) - エンティティ: [[佐藤竜馬]] / [[岡野原大輔]] ## 出典 - [[joisino-アンナカレーニナの法則-2025]](佐藤竜馬、2025-05-20) - [[@2026__30papers__Recurrent Neural Network Regularization]](Wojciech Zaremba、Ilya Sutskever、Oriol Vinyals、2014) - Hastie, T., Tibshirani, R., Friedman, J., *The Elements of Statistical Learning*, 2nd Edition, Springer, 2009, Chapter 11, §11.5.1-§11.5.2. - Arora et al., NeurIPS 2019 (arXiv: 1905.13655) — ランクの暗黙的正則化 - Cohen et al., ICLR 2021 (arXiv: 2103.00065) — 平坦性の暗黙的正則化 - Soudry et al., JMLR 2018 (arXiv: 1710.10345) — マージンの暗黙的正則化 - Wu et al., ICLR 2021 (arXiv: 2012.03107) — 暗黙的カリキュラム - Frankle, J., Carbin, M., "The Lottery Ticket Hypothesis", ICLR, 2019 — 宝くじ仮説 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第2章, §2.6, 第4章, §4.2. - 岡野原大輔, 『ディープラーニングを支える技術〈2〉ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第2章, §2.2.