# ResNet ## 概要 ResNetは、[[Kaiming He]]らが[[Microsoft Research]]で提案した[[畳み込みニューラルネットワーク]]群である。各ブロックで変換結果に入力を足し戻す[[残差学習]]を採用し、層を増やすと訓練誤差まで悪化する劣化問題を緩和した。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) ## 系列 - **ResNet-18 / ResNet-34**: 2層の基本残差ブロックを使う。 - **ResNet-50 / ResNet-101 / ResNet-152**: $1\times1$、$3\times3$、$1\times1$ 畳み込みのボトルネックブロックを使う。 - **CIFAR向けResNet-110 / ResNet-1202**: 極端な深さでも最適化可能性を検証した。 - **事前活性化ResNet-1001 / ResNet-200**: バッチ正規化とReLUを重み層の前へ移し、残差ユニット間の恒等経路を保つ。 ImageNetでResNet-152は単一モデルtop-5検証誤差4.49%を達成し、アンサンブルはILSVRC 2015分類で3.57%を記録した。ResNet-101を検出バックボーンへ転用すると、COCOのmAP@[.5,.95]はVGG-16の21.2から27.2へ改善した。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) 完全事前活性化版は、CIFAR-10の1001層モデルで誤差4.62%を達成した。ImageNetでは初代ResNet-200のtop-1誤差21.8%に対して20.7%へ改善し、恒等ショートカットだけでなく加算後の経路も変換しないことの重要性を示した。(Source: [[@2026__30papers__Identity Mappings in Deep Residual Networks]]) ## 位置付け ResNetは、深さを増すこと自体ではなく、深いモデルを最適化可能にする接続設計が重要だと示した。ただし1202層モデルが110層より汎化性能で劣った結果から、残差接続は過学習を自動的に防ぐ仕組みではない。 ## 画像認識アプリケーションでの位置づけ(第5章) 『ディープラーニングを支える技術』第5章は、ResNet(2015年ILSVRC優勝)を画像分類バックボーンの発展史の中に位置づける。スキップ接続の導入により層数を一気に152まで増やし性能を大幅に改善したことに加え、開発直前に発表されたバッチ正規化の導入も学習の安定化に寄与したと記す。この時点でReLU・バッチ正規化・スキップ接続という学習安定化の三要素が出揃ったとされる。また、Mask R-CNNのような検出・セグメンテーションモデルでは、最後のプーリング層を除いたResNet(など画像分類用ネットワーク)がバックボーンネットワーク(トランク)として転用され、ImageNet等での事前学習結果が初期値として使われる(ただし下流タスクの学習データが十分大きければこの転用効果は消える)。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 関連 - 原典: [[@2026__30papers__Deep Residual Learning for Image Recognition]] / [[@2026__30papers__Identity Mappings in Deep Residual Networks]] - 概念: [[残差学習]] / [[物体検出]] - 著者: [[Kaiming He]] / [[Xiangyu Zhang]] / [[Shaoqing Ren]] / [[Jian Sun]] - 所属: [[Microsoft Research]] - 応用: [[Mask R-CNN]]、[[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]](画像分類バックボーンとしての転用)