# ドロップアウト ## 定義 ドロップアウト(dropout)は、ニューラルネットワークの訓練時にユニットまたは結合の一部を無作為にゼロへ置き換え、特定の特徴同士が過度に共適応することを抑える明示的な正則化である。推論時には遮断せず、訓練時の部分ネットワーク群を近似的に平均した予測を得る。系列モデルでは、どの結合へ適用するかによって、正則化と記憶保持の均衡が変わる。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) ## LSTMへの適用 [[LSTM]]はセル状態と隠れ状態を時間方向へ再帰的に運ぶ。時間再帰結合へ標準的なドロップアウトを適用すると、保持している情報が時刻ごとに繰り返し破損し、長期依存を学ぶ目的と衝突する。Zaremba et al. (2014) は、入力から隠れ層、層間、隠れ層から出力への非再帰結合だけへ適用し、時間再帰結合を保つ方式を示した。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) 深さ$L$の多層LSTMでは、この方式を用いると過去入力から将来出力への経路がドロップアウトを受ける回数は$L+1$回となり、通過する時刻数には依存しない。記憶経路を保存したまま、各時刻の層間変換を正則化できる。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) ## 実験から見える効き方 - Penn Treebank単語言語モデルでは、正則化なしLSTMのテストパープレキシティ114.5に対し、中規模正則化モデルは82.7、大規模正則化モデルは78.4だった。 - アイスランド語音声認識では、訓練フレーム精度が71.6%から69.4%へ下がる一方、検証精度は68.9%から70.5%へ上がった。 - 英仏機械翻訳ではBLEUが25.9から29.03へ改善したが、LIUM句ベース方式の33.30には届かなかった。 - 画像キャプションでは単一モデルのBLEUが23.5から24.3へ改善したが、正則化なしモデル10個のアンサンブルは24.4であり、アンサンブル化すると利得はほぼ消えた。 (Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) ## 横断的知見 - **LSTMのゲートとドロップアウトは、どちらも情報流を制御するが役割が異なる**: 忘却・入力・出力ゲートはデータに応じて状態の保持、書き込み、読み出しを学ぶ。一方、ドロップアウトは訓練時だけ無作為に表現経路を遮断する。非再帰結合だけへ適用する設計は、学習された時間方向の情報制御をゲートへ任せ、確率的正則化を時刻内の表現変換へ限定した分業と読める。(Source: [[@2026__30papers__Understanding LSTM Networks]], [[@2026__30papers__Recurrent Neural Network Regularization]]) - **明示的正則化は、暗黙的正則化だけでは防げない過学習条件を補える**: [[暗黙的正則化]]は最適化過程が単純な解を選ぶ傾向を説明するが、Penn Treebankでは正則化なしLSTMを大きくすると実際に過学習し、小さなモデルへ制約せざるを得なかった。ドロップアウトは訓練過程へ明示的な確率的制約を加えることで、大きなモデルを長く訓練できるようにした。暗黙的な単純解選好が存在しても、明示的正則化が不要になるとは限らない。(Source: [[joisino-アンナカレーニナの法則-2025]], [[@2026__30papers__Recurrent Neural Network Regularization]]) - **系列モデル(RNN/LSTM)における「どの結合に適用するか」という軸と、層の種類(全結合/畳み込み)における「どの層に適用するか」という軸は、いずれもドロップアウトが局所的な情報の冗長性がある箇所で効きにくいという共通原理の異なる現れである**: Zaremba et al. (2014)は時間再帰結合へドロップアウトを適用すると長期依存の学習と衝突するため非再帰結合だけに適用すべきだと述べた(本ページ「LSTMへの適用」節)。[[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.3は別の軸として、畳み込み層に対してドロップアウトを適用しても有効でないことを述べ、その理由を「畳み込み層が使われる画像・音声データでは隣接するユニット間で似たような情報を保持している場合が多く、あるユニットをドロップアウトしても隣接ユニットから似た情報が流れるため効果が弱まる」と説明する。両者はドロップアウトが効きにくい条件として「時間方向の記憶を壊す」(RNN)と「空間的に冗長な情報で代替されてしまう」(CNN)という異なる理由を挙げるが、共通するのは「ドロップアウトされた情報が別の経路から実質的に補われてしまう箇所では正則化効果が薄れる」という原理であり、続巻ch.2が紹介するDropBlock(特徴マップの矩形領域をまるごとドロップアウトする)はこの共通原理から導かれる対策(空間的な冗長性ごと遮断する)として位置づけられる。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.3) - **続巻ch.2は、本ページが「暗黙的正則化だけでは防げない過学習」として位置づけるドロップアウトに、アンサンブル解釈という補完的な理論的根拠を与える**: 本ページの既存の横断的知見は、Penn Treebankでの実験結果(暗黙的正則化だけでは大規模LSTMの過学習を防げなかった)からドロップアウトの必要性を経験的に示すにとどまるが、[[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.3は「ドロップアウトは学習時に毎回別の接続を持ったネットワークを使っているようなものであり、推論時はたくさんのネットワークの平均を利用しているとみなせる」というアンサンブル解釈を与え、ドロップアウトがなぜ汎化性能を改善するかを理論的に補強する。ただし続巻ch.2自身も「画像キャプションで正則化なしモデル10個のアンサンブルと単一のドロップアウトモデルを比べると利得はほぼ消えた」という本ページの実験結果と整合する留保(アンサンブルとしての効果には上限がある)には立ち入っていない。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]], [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]] §2.3) ## 未解決の問い - 同じモデル容量と訓練期間で、入力、層間、出力、時間再帰の各結合へ適用する条件を分離したとき、長期依存と汎化性能の均衡はどう変わるか。 - 系列全体で同じ遮断マスクを共有する方式と、時刻ごとに異なるマスクを使う方式は、記憶保持と頑健性へそれぞれどう影響するか。 - ドロップアウトによる単一モデルの改善は、何個の明示的アンサンブルに相当するのか。タスクとモデル規模をまたいで予測できるか。 - 暗黙的正則化が強く働く規模・最適化条件でも、明示的なドロップアウトは追加の改善を与えるか。 - 非再帰結合だけを正則化する方式の新規性を、先行するPham et al. (2013)と本論文の実証範囲に分けて、歴史的にどう整理すべきか。 - 「時間方向の記憶を壊す」(RNN)と「空間的な冗長性で代替される」(CNN)という2つの失敗条件を統一的に説明する理論(たとえば情報のどの経路が壊れると正則化効果が消えるかを定式化する枠組み)は存在するか。 ## 関連 - 系列モデル: [[LSTM]] / [[RNN]] - 正則化: [[暗黙的正則化]] / [[正則化]] - 層構造: [[Transformer]](自己注意機構での利用) - 原典: [[@2026__30papers__Recurrent Neural Network Regularization]] / [[@2022__Gihyo__ディープラーニングを支える技術〈2〉 - Chapter 2 ディープラーニングの汎化]](アンサンブル解釈、畳み込み層での失敗理由とDropBlock) ## 出典 - [[@2026__30papers__Recurrent Neural Network Regularization]](Wojciech Zaremba、Ilya Sutskever、Oriol Vinyals、2014) - [[@2026__30papers__Understanding LSTM Networks]] - [[joisino-アンナカレーニナの法則-2025]] - 岡野原大輔, 『ディープラーニングを支える技術〈2〉 ニューラルネットワーク最大の謎』, 技術評論社, 2022, 第2章, §2.3.