# 残差学習 ## 定義 残差学習は、目的写像 $\mathcal{H}(x)$ を直接学ぶ代わりに、入力との差分 $\mathcal{F}(x)=\mathcal{H}(x)-x$ を学び、出力を $\mathcal{F}(x)+x$ とする再パラメータ化である。[[ResNet]]では、入力を恒等ショートカットで変換経路の出力へ加える。恒等写像が適切なら、変換側の重みをゼロへ近づければよいため、深いモデルが浅いモデル相当の解を見つけやすくなる。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) ## 劣化問題との関係 深いplain networkの訓練誤差が浅いネットワークより高くなる現象は、検証誤差だけが悪化する過学習とは異なる。ResNet論文ではバッチ正規化により信号・勾配の大きさが保たれた条件でも劣化が起きており、単純な勾配消失だけでは説明できない。残差接続は、深さを増やした際の最適化経路そのものを変える。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) ## 実装上の形 - 入出力次元が同じときは、追加パラメータを持たない恒等ショートカットを使う。 - 次元が異なるときは射影ショートカットを使うか、ゼロ埋めで次元を合わせる。 - 深いResNetでは $1\times1$、$3\times3$、$1\times1$ 畳み込みからなるボトルネックブロックを用い、計算量を抑える。 (Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) ## 恒等経路と事前活性化 ショートカットだけでなく加算後の活性化も恒等写像なら、任意の残差ユニット間で、深い特徴は浅い特徴と途中の残差関数の和として表せる。完全事前活性化はバッチ正規化とReLUを重み層の前へ移し、加算後の経路から操作を除く。これにより順伝播と逆伝播の直接経路を保ち、同時に全重み層への入力を正規化する。(Source: [[@2026__30papers__Identity Mappings in Deep Residual Networks]]) ## 勾配消失問題との定量的な関係 『ディープラーニングを支える技術』第4章は、スキップ接続がない場合に誤差逆伝播時に誤差が層を経るごとに縮小・拡散してしまう現象を「勾配消失問題(Gradient Shuttered)」と呼び、これがスキップ接続導入前は学習可能な層数を10層程度に制限していたと述べる。スキップ接続 h_{i+1}=h_i+f(h_i;θ) のもとでは、h_{i+1} の h_i についてのヤコビ行列が ∂h_{i+1}/∂h_i=I+∂f(h_i)/∂h_i となり、目的関数 L の勾配は ∂L/∂h_i=∂L/∂h_{i+1}+(∂L/∂h_{i+1})(∂f(h_i)/∂h_i) と分解できる。単位行列 I の項により上層の誤差がそのまま下層に伝わるため、スキップ接続は「高速道路のように」誤差を遠く離れた層まで落とさず伝える。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.3) ## 逐次的推論としての解釈 同書は n ブロックからなる ResNet で h_1=x とし、目的関数 L(h_n) を各ブロックの周りでテイラー展開すると、目的関数を小さくするには f_j(h_j)≈-α∂L(h_j)/∂h_j となる必要があることを導き、h_{j+1}=h_j+f_j(h_j)≈h_j-α∂L(h_j)/∂h_j という勾配降下法による現在の状態の逐次的な改善とみなせると述べる。これは「入力を丸ごと変換し直す(下描きなしに一気に描く)」通常のネットワークに対し、スキップ接続を持つネットワークは「今の状態を少しずつ修正する(下描きを見ながら仕上げる)」という質的に異なる計算様式を実現することを意味する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.3) ## ボトルネックとの組み合わせ スキップ接続は、計算量を抑えるボトルネック構造(1×1畳み込みでチャンネル数を縮小→3×3畳み込みで変換→1×1畳み込みで復元)と組み合わせて使うことで真価を発揮する。スキップ接続がない層でボトルネック操作を行うと、縮小時に失われた情報を以降の層で復元できず精度が大きく劣化するが、スキップ接続があれば元の入力情報が経路上に保たれ続けるため、ボトルネックによる情報損失の影響を受けない。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.3) ## 横断的知見 - ResNetの残差接続はCNNの深層化のために提案されたが、Transformerでは自己アテンションとFFNの各サブレイヤーを囲む接続として採用された。これは残差接続が、畳み込み固有の工夫ではなく、深い計算ブロックへ恒等経路を与える一般的なインターフェースへ発展したことを示す。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]], [[@2017__NeurIPS__Attention Is All You Need]]) - 事前活性化ResNetはバッチ正規化とReLUを変換分岐へ移し、恒等経路を無加工で保った。GPT-2もレイヤー正規化を各サブブロックの入力側へ移し、残差重みを層数に応じてスケールした。両者は、残差経路をきれいに保ちながら、変換分岐の正規化と尺度を制御するという共通設計を持つ。(Source: [[@2026__30papers__Identity Mappings in Deep Residual Networks]], [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) - 初代ResNetでは1202層モデルが110層より汎化性能で劣ったが、完全事前活性化を使う1001層モデルは初代1001層モデルを大幅に改善した。これは「深さ」だけを独立変数として扱えず、最適化可能性と汎化性能が残差ユニット内の活性化・正規化配置にも依存することを示す。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]], [[@2026__30papers__Identity Mappings in Deep Residual Networks]]) - **原論文が実験的に観察した「劣化問題」(単純にスキップ接続を除くと深いplain networkの訓練誤差が浅いモデルより高くなる)に対し、『ディープラーニングを支える技術』はヤコビ行列 ∂h_{i+1}/∂h_i=I+∂f/∂h_i という明示的な数式で因果メカニズムを与える**: [[@2026__30papers__Deep Residual Learning for Image Recognition]]はバッチ正規化により信号・勾配の大きさが保たれた条件でも劣化が起きることを実験で示し、単純な勾配消失だけでは説明できないと述べるにとどまる。同書第4章は、劣化問題そのものではなくその前段階(スキップ接続がない場合の勾配消失)を、誤差逆伝播の連鎖律から得られる∂L/∂h_i=∂L/∂h_{i+1}(I+∂f/∂h_i)という式で導出し、単位行列Iの項が上層の誤差をそのまま下層へ伝える理由を明示する。両者を合わせると、原論文が実験的に切り分けた「劣化問題は勾配消失だけでは説明できない」という主張と、同書が数式で示す「スキップ接続がなぜ勾配を保つか」という機構は、異なる問い(なぜplain networkは失敗するか/なぜ残差接続は機能するか)に答える相補的な説明になっている。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.3) - **PreActivation/Single ReLUという変種の設計原理は、原論文が示す「事前活性化」の実験結果と、同書が与える理論的動機(スキップ接続を通るパスには非線形変換を適用しない方が誤差が保たれる)の両面から補強される**: [[@2026__30papers__Identity Mappings in Deep Residual Networks]]は完全事前活性化(バッチ正規化とReLUを重み層の前へ移す)がCIFAR-10・ImageNetで初代ResNetを上回ることを実験的に示すが、なぜ加算後の経路を無加工に保つべきかという理由には深く立ち入らない。同書第4章は、オリジナルResNetがスキップ接続後にReLUを適用するため誤差逆伝播時にも活性化関数の微分が繰り返し適用され勾配消失が起きやすいと明示し、PreActivationがReLUをブロック内に移すことでスキップ接続を通るパスの線形性を保つという設計理由を与える。さらにSingle ReLU(ブロック内でReLUを1回に絞る変種)が性能を改善する理由を、注意機構との計算構造の等価性(MLPと注意機構コラム)から補足する点は、原論文にもESLにも見られない独自の説明軸である。(Source: [[@2026__30papers__Identity Mappings in Deep Residual Networks]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.3-§4.4) ## 未解決の問い - 残差再パラメータ化が最適化地形と勾配伝播を改善する条件を、深さ・幅・正規化との関係からどう形式化できるか。 - 深さに応じて残差分岐の寄与を制御する最適な初期化・正規化・ゲーティングは何か。 - 残差接続による最適化容易性を、過剰なモデル容量による過学習からどう切り分けるか。 - 完全事前活性化の利点は、バッチ正規化を使わないモデルや畳み込み以外の変換でも同じ機構で説明できるか。 - 同書が与える「逐次的推論(勾配降下法による現在の状態の逐次修正)」という解釈は、原論文が報告する劣化問題の解消(深いモデルほど訓練誤差が下がる)を定量的にどこまで説明できるか。テイラー展開による1次近似が成り立たなくなる(ブロックの変換が大きい)条件で、この解釈はどこまで有効か。 - Single ReLUが性能を改善する現象について、同書が与える「MLPと注意機構の等価性」による説明と、原論文が実験的に観察した知見は、どのように定量的に対応づけられるか。 ## 関連 - 原典: [[@2026__30papers__Deep Residual Learning for Image Recognition]] / [[@2026__30papers__Identity Mappings in Deep Residual Networks]] - モデル: [[ResNet]] / [[GPT-2]] - アーキテクチャ: [[畳み込みニューラルネットワーク]] / [[@2017__NeurIPS__Attention Is All You Need]] - 章: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] — 勾配消失問題の数式的導出、逐次的推論としての解釈、ボトルネック・PreActivation/Single ReLUの設計原理 - 関連概念: [[正規化層]] / [[注意機構]] ## 出典 - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]]