# Recurrent Neural Network Regularization > [!abstract] 概要 > [[LSTM]]へ[[ドロップアウト]]を適用するとき、時間再帰結合を無傷のまま残し、入力から隠れ層、層間、隠れ層から出力への非再帰結合だけを確率的に遮断する方法を示す。時間方向へ情報を保持する経路を時刻ごとに壊さず、大規模な再帰型モデルの過学習を抑えることが狙いである。言語モデル、音声認識、機械翻訳、画像キャプション生成の4領域で、正則化なしのLSTMより検証・テスト性能が改善した。 ## 論文情報 - **著者**: Wojciech Zaremba、Ilya Sutskever、Oriol Vinyals - **所属**: New York University、Google Brain。Zarembaの研究はGoogle Brain在籍中に行われた - **公開**: arXiv:1409.2329v5、初版2014年9月8日、改訂2015年2月19日 - **位置づけ**: ICLR 2015査読中原稿 - **コード**: [wojzaremba/lstm](https://github.com/wojzaremba/lstm) - **原典**: [arXiv](https://arxiv.org/abs/1409.2329) - **30papers掲載情報**: [[.raw/articles/30papers-rnn-regularization-2026-07-28.md]] ## 問題設定 ドロップアウトは、訓練時にユニットの一部を無作為にゼロへ置き換え、特定ユニット間の共適応を抑える明示的な正則化である。しかし標準的な適用を[[RNN]]の時間再帰結合へそのまま持ち込むと、過去から運ばれる情報が時刻ごとに繰り返し破損する。長期依存を保持するためのLSTMにとって、これは正則化と記憶の維持が衝突する設計になる。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §1–3) 論文の解法は、モデルの再帰性そのものを正則化するのではなく、時刻内の表現変換だけを正則化することである。これにより、時間方向の記憶経路を保存しながら、層間表現にはドロップアウトの頑健化効果を与える。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §3) ## 非再帰結合だけへのドロップアウト ![[_attachments/30papers-rnn-regularization/fig02-non-recurrent-dropout.png]] *図2。破線はドロップアウトを適用する非再帰結合、実線は適用しない時間再帰結合を表す。* 層$l$のLSTMは、同じ時刻の下位層出力$h_t^{l-1}$と、前時刻の同じ層の状態$h_{t-1}^{l}$を受け取る。提案法では、ドロップアウト演算子$D$を$h_t^{l-1}$だけへ適用し、$h_{t-1}^{l}$には適用しない。入力層から最初の隠れ層、隠れ層間、最終隠れ層から出力への垂直方向の結合が正則化対象となる一方、水平な時間再帰結合は保たれる。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §2–3) ![[_attachments/30papers-rnn-regularization/fig03-information-flow.png]] *図3。太線は時刻$t-2$の入力が$t+2$の出力へ届く典型的な情報経路である。* 深さ$L$の多層LSTMでは、ある入力から将来出力へ届く情報は、系列長にかかわらずドロップアウトを$L+1$回だけ通過する。時間方向へ何時刻進んでも水平結合では新たな遮断を受けないためである。標準的に再帰結合へドロップアウトを適用した場合は、情報が時刻ごとに破損するため、長期記憶の学習が難しくなるというのが論文の設計根拠である。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §3, 図3) > [!important] 新規性の注意 > Pham et al. (2013) は手書き文字認識に対して、同じ非再帰結合だけを正則化する方法を先に独立開発していた。著者らはこの方法を「再発見した」と明記している。本論文の寄与は方式の最初の発明というより、複数領域での有効性を広く実証した点に置くべきである。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §2) ## 実験 ### Penn Treebank言語モデル ![[_attachments/30papers-rnn-regularization/table01-ptb-results.png]] *表1。Penn Treebank単語言語モデルの検証・テストパープレキシティ。低いほどよい。* 正則化なしの2層200ユニットLSTMはテストパープレキシティ114.5だった。50%ドロップアウトを用いた2層650ユニットの中規模モデルは82.7、65%ドロップアウトを用いた2層1500ユニットの大規模モデルは78.4へ改善した。正則化なしでは大きなモデルが過学習するため、小さなモデルと13エポックに制約されたのに対し、正則化モデルは39または55エポックまで訓練できた。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §4.1, 表1) 大規模正則化モデルを10個平均すると69.5、38個平均すると68.7へ下がった。ただし、この比較にはモデル容量と訓練期間の差も含まれるため、数値差をドロップアウトだけの効果として分離することはできない。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §4.1, 表1) ### アイスランド語音声認識 正則化なしでは訓練フレーム精度71.6%、検証精度68.9%だった。正則化モデルは訓練精度が69.4%へ下がる一方、検証精度は70.5%へ上がった。訓練性能を下げながら未見データ性能を上げるという、正則化の典型的な挙動が確認された。ただし、評価は単語誤り率ではなくフレーム精度に限られる。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §4.2, 表2) ### 英仏機械翻訳 WMT’14英仏データの選択部分集合で、正則化なしLSTMのテストパープレキシティ5.8、BLEU 25.9に対し、ドロップアウトLSTMは5.0、29.03へ改善した。4隠れ層、各1000ユニット、ドロップアウト確率0.2、ビーム幅12を用いた。ただし、比較対象の句ベースLIUMシステムはBLEU 33.30であり、提案法を用いたLSTMは当時の強い統計的機械翻訳を上回っていない。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §4.3, 表3) ### 画像キャプション生成 正則化なし単一モデルのテストパープレキシティ8.47、BLEU 23.5に対し、正則化単一モデルは7.99、24.3へ改善した。一方、正則化なしモデル10個のアンサンブルは7.5、24.4で、アンサンブル化するとドロップアウト単一モデルの優位はほぼ消えた。著者らは、この設定での主効果を、簡単な方法でアンサンブルに近い単一モデルを得られることだと解釈する。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §4.4, 表4) ## 評価と限界 この方式の強みは、LSTMの記憶経路と表現の正則化を結合種別によって明確に分離した単純さにある。特別な損失関数や追加状態を導入せず、大規模LSTMを過学習させずに訓練できる。異なる4領域で単一モデルの検証・テスト性能が一貫して改善したことは、特定タスクだけに依存しない有用性を示す。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §4–5) 一方、論文は時間再帰結合にもドロップアウトを適用した対照実験を提示していない。そのため「再帰結合を避けるから長期記憶を保てる」という機構説明は解析的には明快だが、同じ容量・訓練条件で正則化位置だけを変えたアブレーションから直接実証されたものではない。また、Penn Treebankの主要比較ではモデル規模と訓練期間も同時に変わり、機械翻訳では既存の句ベース方式に届かず、画像キャプションではアンサンブル化により利得が消える。結果は広い改善を示すが、あらゆる評価条件で最良だったわけではない。(Source: [arXiv原典](https://arxiv.org/abs/1409.2329) §3–4) ## 関連 - 正則化: [[ドロップアウト]] / [[暗黙的正則化]] - 系列モデル: [[LSTM]] / [[RNN]] - 著者: [[Ilya Sutskever]] / [[Oriol Vinyals]]