# ドロップアウト ## 定義 ドロップアウト(dropout)は、ニューラルネットワークの訓練時にユニットまたは結合の一部を無作為にゼロへ置き換え、特定の特徴同士が過度に共適応することを抑える明示的な正則化である。推論時には遮断せず、訓練時の部分ネットワーク群を近似的に平均した予測を得る。系列モデルでは、どの結合へ適用するかによって、正則化と記憶保持の均衡が変わる。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) ## LSTMへの適用 [[LSTM]]はセル状態と隠れ状態を時間方向へ再帰的に運ぶ。時間再帰結合へ標準的なドロップアウトを適用すると、保持している情報が時刻ごとに繰り返し破損し、長期依存を学ぶ目的と衝突する。Zaremba et al. (2014) は、入力から隠れ層、層間、隠れ層から出力への非再帰結合だけへ適用し、時間再帰結合を保つ方式を示した。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) 深さ$L$の多層LSTMでは、この方式を用いると過去入力から将来出力への経路がドロップアウトを受ける回数は$L+1$回となり、通過する時刻数には依存しない。記憶経路を保存したまま、各時刻の層間変換を正則化できる。(Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) ## 実験から見える効き方 - Penn Treebank単語言語モデルでは、正則化なしLSTMのテストパープレキシティ114.5に対し、中規模正則化モデルは82.7、大規模正則化モデルは78.4だった。 - アイスランド語音声認識では、訓練フレーム精度が71.6%から69.4%へ下がる一方、検証精度は68.9%から70.5%へ上がった。 - 英仏機械翻訳ではBLEUが25.9から29.03へ改善したが、LIUM句ベース方式の33.30には届かなかった。 - 画像キャプションでは単一モデルのBLEUが23.5から24.3へ改善したが、正則化なしモデル10個のアンサンブルは24.4であり、アンサンブル化すると利得はほぼ消えた。 (Source: [[@2026__30papers__Recurrent Neural Network Regularization]]) ## 横断的知見 - **LSTMのゲートとドロップアウトは、どちらも情報流を制御するが役割が異なる**: 忘却・入力・出力ゲートはデータに応じて状態の保持、書き込み、読み出しを学ぶ。一方、ドロップアウトは訓練時だけ無作為に表現経路を遮断する。非再帰結合だけへ適用する設計は、学習された時間方向の情報制御をゲートへ任せ、確率的正則化を時刻内の表現変換へ限定した分業と読める。(Source: [[@2026__30papers__Understanding LSTM Networks]], [[@2026__30papers__Recurrent Neural Network Regularization]]) - **明示的正則化は、暗黙的正則化だけでは防げない過学習条件を補える**: [[暗黙的正則化]]は最適化過程が単純な解を選ぶ傾向を説明するが、Penn Treebankでは正則化なしLSTMを大きくすると実際に過学習し、小さなモデルへ制約せざるを得なかった。ドロップアウトは訓練過程へ明示的な確率的制約を加えることで、大きなモデルを長く訓練できるようにした。暗黙的な単純解選好が存在しても、明示的正則化が不要になるとは限らない。(Source: [[joisino-アンナカレーニナの法則-2025]], [[@2026__30papers__Recurrent Neural Network Regularization]]) ## 未解決の問い - 同じモデル容量と訓練期間で、入力、層間、出力、時間再帰の各結合へ適用する条件を分離したとき、長期依存と汎化性能の均衡はどう変わるか。 - 系列全体で同じ遮断マスクを共有する方式と、時刻ごとに異なるマスクを使う方式は、記憶保持と頑健性へそれぞれどう影響するか。 - ドロップアウトによる単一モデルの改善は、何個の明示的アンサンブルに相当するのか。タスクとモデル規模をまたいで予測できるか。 - 暗黙的正則化が強く働く規模・最適化条件でも、明示的なドロップアウトは追加の改善を与えるか。 - 非再帰結合だけを正則化する方式の新規性を、先行するPham et al. (2013)と本論文の実証範囲に分けて、歴史的にどう整理すべきか。 ## 関連 - 系列モデル: [[LSTM]] / [[RNN]] - 正則化: [[暗黙的正則化]] - 原典: [[@2026__30papers__Recurrent Neural Network Regularization]] ## 出典 - [[@2026__30papers__Recurrent Neural Network Regularization]](Wojciech Zaremba、Ilya Sutskever、Oriol Vinyals、2014) - [[@2026__30papers__Understanding LSTM Networks]] - [[joisino-アンナカレーニナの法則-2025]]