# DenseNet スキップ接続は1つのブロックだけでなく複数のブロック間でもつなげられることを示した代表例。ResNetと同様にスキップ接続を使うが、ある層は同じブロック内のそれ以後すべての層とスキップ接続する点、かつスキップ接続した結果を足し込むのではなくチャンネル方向にconcatする点がResNetと異なる。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 特徴 Inceptionでも見られたように、concatした場合は入力を完全に別に分けて扱うことができ誤差が別々に流れていくというメリットがある。また常にすべての層間にスキップ接続があるため、ある層の結果を途中の層で覚えておく必要がない。各ブロックの出力チャンネル数によって、DenseNetは上位層にいくほど入力チャンネル数が増えるという特徴を持つ。スキップが増えて学習しやすくなっただけでなく、パラメータを半減しても同じ性能を発揮できると報告されている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 関連 - 比較対象: [[ResNet]](足し算ベースのスキップ接続) - 概念: [[残差学習]] / [[畳み込みニューラルネットワーク]] - 章: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第5章 §5.1.