残差学習 - yuuk1's Digital Garden

# 残差学習 ## 定義残差学習は、目的写像 $\mathcal{H}(x)$ を直接学ぶ代わりに、入力との差分 $\mathcal{F}(x)=\mathcal{H}(x)-x$ を学び、出力を $\mathcal{F}(x)+x$ とする再パラメータ化である。[[ResNet]]では、入力を恒等ショートカットで変換経路の出力へ加える。恒等写像が適切なら、変換側の重みをゼロへ近づければよいため、深いモデルが浅いモデル相当の解を見つけやすくなる。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) ## 劣化問題との関係深いplain networkの訓練誤差が浅いネットワークより高くなる現象は、検証誤差だけが悪化する過学習とは異なる。ResNet論文ではバッチ正規化により信号・勾配の大きさが保たれた条件でも劣化が起きており、単純な勾配消失だけでは説明できない。残差接続は、深さを増やした際の最適化経路そのものを変える。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) ## 実装上の形 - 入出力次元が同じときは、追加パラメータを持たない恒等ショートカットを使う。 - 次元が異なるときは射影ショートカットを使うか、ゼロ埋めで次元を合わせる。 - 深いResNetでは $1\times1$、$3\times3$、$1\times1$ 畳み込みからなるボトルネックブロックを用い、計算量を抑える。 (Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) ## 恒等経路と事前活性化ショートカットだけでなく加算後の活性化も恒等写像なら、任意の残差ユニット間で、深い特徴は浅い特徴と途中の残差関数の和として表せる。完全事前活性化はバッチ正規化とReLUを重み層の前へ移し、加算後の経路から操作を除く。これにより順伝播と逆伝播の直接経路を保ち、同時に全重み層への入力を正規化する。(Source: [[@2026__30papers__Identity Mappings in Deep Residual Networks]]) ## 横断的知見 - ResNetの残差接続はCNNの深層化のために提案されたが、Transformerでは自己アテンションとFFNの各サブレイヤーを囲む接続として採用された。これは残差接続が、畳み込み固有の工夫ではなく、深い計算ブロックへ恒等経路を与える一般的なインターフェースへ発展したことを示す。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]], [[@2017__NeurIPS__Attention Is All You Need]]) - 事前活性化ResNetはバッチ正規化とReLUを変換分岐へ移し、恒等経路を無加工で保った。GPT-2もレイヤー正規化を各サブブロックの入力側へ移し、残差重みを層数に応じてスケールした。両者は、残差経路をきれいに保ちながら、変換分岐の正規化と尺度を制御するという共通設計を持つ。(Source: [[@2026__30papers__Identity Mappings in Deep Residual Networks]], [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) - 初代ResNetでは1202層モデルが110層より汎化性能で劣ったが、完全事前活性化を使う1001層モデルは初代1001層モデルを大幅に改善した。これは「深さ」だけを独立変数として扱えず、最適化可能性と汎化性能が残差ユニット内の活性化・正規化配置にも依存することを示す。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]], [[@2026__30papers__Identity Mappings in Deep Residual Networks]]) ## 未解決の問い - 残差再パラメータ化が最適化地形と勾配伝播を改善する条件を、深さ・幅・正規化との関係からどう形式化できるか。 - 深さに応じて残差分岐の寄与を制御する最適な初期化・正規化・ゲーティングは何か。 - 残差接続による最適化容易性を、過剰なモデル容量による過学習からどう切り分けるか。 - 完全事前活性化の利点は、バッチ正規化を使わないモデルや畳み込み以外の変換でも同じ機構で説明できるか。 ## 関連 - 原典: [[@2026__30papers__Deep Residual Learning for Image Recognition]] / [[@2026__30papers__Identity Mappings in Deep Residual Networks]] - モデル: [[ResNet]] / [[GPT-2]] - アーキテクチャ: [[畳み込みニューラルネットワーク]] / [[@2017__NeurIPS__Attention Is All You Need]]