@2026__30papers__Deep Residual Learning for Image Recognition

# Deep Residual Learning for Image Recognition > [!abstract] 概要 > 深いニューラルネットワークで、層を増やすほど訓練誤差まで悪化する「劣化問題」を、恒等ショートカットを備えた残差ブロックで解消する。直接写像 $\mathcal{H}(x)$ を学ぶ代わりに残差 $\mathcal{F}(x)=\mathcal{H}(x)-x$ を学び、出力を $\mathcal{F}(x)+x$ とする。ImageNetとCIFAR-10で、従来より深いネットワークを最適化できることを示し、画像分類から物体検出へ改善を転移した。 ## 論文情報 - **著者**: [[Kaiming He]]、[[Xiangyu Zhang]]、[[Shaoqing Ren]]、[[Jian Sun]] - **所属**: [[Microsoft Research]] - **公開**: arXiv:1512.03385（2015年12月）、CVPR 2016、pp. 770–778 - **原典**: [arXiv](https://arxiv.org/abs/1512.03385) / [CVPR Open Access](https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html) - **30papers掲載情報**: [[.raw/articles/30papers-deep-residual-learning-2026-07-28.md]] ## 問題設定バッチ正規化などにより勾配が健全でも、単純に層を積んだ plain network は、ある深さを超えると浅いモデルより訓練誤差が高くなる。これは過学習ではなく、より深いモデルが浅いモデルの恒等写像を表現できるにもかかわらず、最適化器がその解を見つけにくい「劣化問題」である。(Source: [arXiv原典](https://arxiv.org/abs/1512.03385)) ![[_attachments/30papers-deep-residual-learning/fig01-plain-degradation.png]] *CIFAR-10のplain networkでは、56層モデルが20層モデルより訓練・テストの双方で悪化する。* ## 残差学習残差ブロックは、数層の変換を $\mathcal{F}(x,\{W_i\})$ とし、入力 $x$ をショートカットで足し戻す。 $y=\mathcal{F}(x,\{W_i\})+x$ 入出力次元が異なる場合だけ線形射影 $W_sx$ を用いる。恒等ショートカットは追加パラメータも追加計算量も持たず、深いネットワークに恒等写像への容易な経路を与える。(Source: [arXiv原典](https://arxiv.org/abs/1512.03385)) ![[_attachments/30papers-deep-residual-learning/fig02-residual-block.png]] *2層の変換と恒等ショートカットからなる基本的な残差ブロック。* ## アーキテクチャ ImageNet向けには18層・34層で基本ブロックを使い、50層・101層・152層では $1\times1$、$3\times3$、$1\times1$ 畳み込みからなるボトルネックブロックを使う。152層モデルの計算量は11.3B FLOPsで、VGG-19の19.6B FLOPsより小さい。(Source: [CVPR公式](https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html)) ![[_attachments/30papers-deep-residual-learning/fig03-architectures.png]] *VGG-19、34層plain network、34層ResNetの比較。* ## 実験結果 ### ImageNet - 34層plain networkのtop-1検証誤差は28.54%で、18層plain networkの27.94%より悪化した。 - ResNet-34は25.03%で、ResNet-18の27.88%を上回った。 - ResNet-152は単一モデルtop-5検証誤差4.49%を達成した。 - 6モデルのアンサンブルはILSVRC 2015テストセットでtop-5誤差3.57%を達成し、分類部門で優勝した。 (Source: [arXiv原典](https://arxiv.org/abs/1512.03385)) ![[_attachments/30papers-deep-residual-learning/fig04-imagenet-training.png]] *ImageNetでplain networkは深さにより劣化するが、ResNetは34層化で訓練誤差と検証誤差を改善する。* ### CIFAR-10 110層ResNetは6.43%のテスト誤差を得た。1202層モデルは訓練誤差0.1%未満まで最適化できた一方、テスト誤差は7.93%で110層より悪い。残差接続は深さによる最適化障害を緩和するが、深さそのものが汎化を保証するわけではない。(Source: [arXiv原典](https://arxiv.org/abs/1512.03385)) ### 物体検出への転移 COCO検出でFaster R-CNNのバックボーンをVGG-16からResNet-101へ替えると、mAP@[.5,.95]は21.2から27.2へ6.0ポイント改善した。著者らはResNetを基盤としてILSVRC・COCO 2015の検出、局所化、セグメンテーションでも優勝した。(Source: [arXiv原典](https://arxiv.org/abs/1512.03385)) ## 評価残差接続の価値は、単に勾配消失を避けることではなく、恒等写像を基準に「必要な差分だけを学ぶ」最適化問題へ変換した点にある。一方、論文はなぜこの再パラメータ化が収束を改善するかを形式的に証明しておらず、1202層モデルの結果も、最適化容易性と汎化性能を区別すべきことを示す。この構成は後にTransformerの自己アテンション層・FFN層を囲む残差接続へ移植され、畳み込みに限らない深層ブロックの標準的な接続様式となった。(Source: [[@2017__NeurIPS__Attention Is All You Need]]) ## 関連 - モデル: [[ResNet]] - 概念: [[残差学習]] / [[畳み込みニューラルネットワーク]] - 著者: [[Kaiming He]] / [[Xiangyu Zhang]] / [[Shaoqing Ren]] / [[Jian Sun]] - 所属: [[Microsoft Research]] - 後続アーキテクチャ: [[@2017__NeurIPS__Attention Is All You Need]]