# 宝くじ仮説 ## 定義 宝くじ仮説(lottery ticket hypothesis)とは、ランダムに初期化された密なニューラルネットワークは、うまく学習できるような偶然良い初期値の組み合わせを持ったサブネットワーク(「当たりくじ」)を含んでおり、そのサブネットワークだけを取り出し同じ初期値から学習しても、元のニューラルネットワークと同じ精度を同じ学習回数で達成できる、という仮説である。Frankle らが ICLR 2019 で示した(Frankle and Carbin, "The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks")。ネットワーク全体を「たくさんあるサブネットワーク(くじ)」の集合とみなし、その中の一部だけが当たりくじであるという比喩から名づけられている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) ## なぜ汎化・学習しやすさの説明になるか 大きなネットワークほどサブネットワークの数(くじの数)が指数的に増える。たとえば4層で各層のユニット数が4, 6, 6, 1のネットワークでは、2, 3, 3, 1という部分サイズを持つサブネットワークだけで2,400個存在し、各層のユニット数を4, 12, 12, 1に増やすと約290,400個、8, 24, 24, 1では約3,000万個に達する。パラメータ数が少なくくじの数が少ない場合、真のモデルに近いサブネットワークが含まれにくく、どのサブネットワークも真のモデルから離れているため拮抗して勾配が打ち消し合い学習が停滞しやすい。逆に、たくさんのくじの中に真のモデルに近いものがあれば、そのサブネットワークの学習が急速に進み、他のサブネットワークに対応する重みは陰的正則化・明示的正則化によって相対的に抑制されていく。この結果、パラメータ数が多くても実際に生き残るサブネットワークのサイズは真のモデルを表現するのに必要なサイズに抑えられ、過学習が抑えられる。パラメータ数が多いほど学習・汎化がしやすくなるという経験則を説明する仮説である。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) ## 理論的な裏づけ:教師・生徒ネットワーク 宝くじ仮説は実験だけでなく理論的にも支持されつつある。教師ネットワークの出力を生徒ネットワークが真似る問題設定(Tian et al., "Luck Matters: Understanding Training Dynamics of Deep ReLU Networks", arXiv 2019)を解析すると、生徒ネットワークが教師ネットワークの出力を真似られるようになるにつれ、教師ネットワークの各ノードの振る舞いを、対応する生徒ネットワークのノードが真似るようになる。最終出力を一致させるフィードバックだけで、隠れ層の各ノードの振る舞いまで一致するようになる。生徒ネットワークの方がパラメータ数が多い過剰パラメータの場合、教師ネットワークの各ノードに初期値の時点で最も似た振る舞いをしているノードが対応するようになり、対応するノードがない出力枝は抑制される。世の中の多くのデータ生成過程(画像であれば構成要素の選択・パラメータ決定・配置・視点反映という階層的なステップ)は階層的かつ構成的であり、ニューラルネットワークで十分近似できると仮定すれば、実データでの学習も未知の生成過程を模倣するサブネットワークを抽出しているとみなせる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) ## フラットな解との関係 宝くじ仮説では、学習後は当たりくじのサブネットワーク以外の部分はパラメータを動かしても出力がほとんど変わらない状態になる。これは、他の[[暗黙的正則化]]の仕組みである「フラットな解」の条件(パラメータを多少動かしても目的関数の値がほとんど変わらない)と一致する。フラットな解に到達するということは、当たりくじのサブネットワークを抽出していることと表裏一体であるとみなせる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.2) ## 横断的知見 1 ソース目のため、複数ソースの突き合わせによる横断的知見は今後の蓄積に委ねる。[[暗黙的正則化]]ページが扱う「ノルム最小化」「フラットな解」という2つの機構との関係(本ページの「フラットな解との関係」節)は単一ソース内の接続であり、他のソースとの突き合わせは今後の課題。 ## 未解決の問い - 宝くじ仮説における「当たりくじ」サブネットワークは、勾配降下法によるノルム最小化・フラットな解への収束という他の陰的正則化の機構と、どの程度独立に、あるいは同一のメカニズムとして説明できるか。 - サブネットワーク数が指数的に増えるという議論は、実際のニューラルネットワークの層構成(畳み込み層・Transformerなど)でどこまで定量的に成り立つか。 - 教師・生徒ネットワークの解析は、教師ネットワークが存在しない(未知の真の関数を模倣する)実データでの学習にどこまで一般化できるか。 - 当たりくじサブネットワークを学習前に(再学習なしで)特定する効率的な方法はあるか。 ## 関連 - source: [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] - concept: [[暗黙的正則化]] / [[深層学習の汎化]] / [[汎化能力]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第2章, §2.2. - Frankle, J., Carbin, M., "The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks", ICLR, 2019. - Tian, Y. et al., "Luck Matters: Understanding Training Dynamics of Deep ReLU Networks", arXiv, 2019.