# 畳み込みニューラルネットワーク ## 定義 畳み込みニューラルネットワーク(Convolutional Neural Network; CNN、ConvNet)は、画像など格子状データの空間構造を利用するニューラルネットワークである。活性を幅・高さ・深さの三次元体積として扱い、各ニューロンを前層の局所領域へ接続し、同じフィルタの重みを空間位置間で共有する。局所接続は全結合によるパラメータ増加を避け、パラメータ共有は同じ特徴を異なる位置で検出する帰納的バイアスを与える。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) ## 基本構成 典型的な画像分類 CNN は次の要素を積み重ねる。 - **畳み込み層(CONV)**: 入力の局所受容野と学習可能フィルタの内積を各位置で計算し、フィルタごとの活性マップを作る。 - **活性化層(RELU)**: 要素ごとの非線形変換を加える。 - **プーリング層(POOL)**: 各深さスライスの空間サイズを縮小し、計算量と活性数を減らす。 - **全結合層(FC)**: 最終的なクラススコアを計算する。 最小例は `INPUT → CONV → RELU → POOL → FC` である。CONV・FC は学習可能パラメータを持ち、RELU・POOL は固定関数として働く。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) ## 畳み込み層 入力幅 $W$、フィルタ幅 $F$、ストライド $S$、ゼロパディング $P$ のとき、出力幅は $(W-F+2P)/S+1$ である。フィルタは空間方向には小さいが入力の深さ全体にまたがり、フィルタ数が出力の深さとなる。同じフィルタを出力の一つの深さスライス全体で共有するため、各位置に別々の重みを持つ場合よりパラメータ数を大幅に抑えられる。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) フィルタを深く積むと有効受容野が広がる。三つの $3 \times 3$ 畳み込み層は一つの $7 \times 7$ 畳み込み層と同じ空間範囲を覆いながら、層間の非線形性を増やし、同一チャネル数ならパラメータ数を $49C^2$ から $27C^2$ に減らせる。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) ## 密予測と膨張畳み込み 画像分類用 CNN のプーリングは空間サイズと計算量を減らすが、画素ごとの予測では位置情報の損失になる。[[膨張畳み込み]]はフィルタ係数を離れた入力位置へ適用し、特徴マップの解像度とパラメータ数を保ったまま受容野を広げる。分類網の後段プーリングを除き、その後のdilationを増やすことで、事前学習済みフィルタを密予測へ再利用できる。(Source: [[@2026__30papers__Multi-Scale Context Aggregation by Dilated Convolutions]]) ## 表現の階層と可視化 初期層は方向のあるエッジや色の塊など局所的特徴を、深い層はより複雑な形状を捉える。活性・フィルタ重み・最大活性化画像・t-SNE 埋め込み・遮蔽による確率変化を可視化することで、表現の収束状態や予測が依存する画像領域を調べられる。遮蔽によるヒートマップは、入力摂動に基づく[[帰属手法]]の一例である。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) ## 転移学習 大規模データセットで事前学習した CNN は、新しいタスクの固定特徴抽出器または微調整の初期値として再利用できる。初期層の特徴は比較的汎用的で、後段ほど元のデータセット固有になる傾向があるため、新しいデータセットの規模と類似性に応じて固定する層と微調整する層を選ぶ。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) ## 画像認識バックボーンの実アーキテクチャの積み重ね(第5章) 『ディープラーニングを支える技術』第5章は、CS231nが一般論として示す局所結合・重み共有という設計原理が、ILSVRCという実コンペティションの中でどのように具体的なアーキテクチャへ積み上がってきたかを歴史として記録する。AlexNet(2012)は「空間解像度を一気に落としてから畳み込みを繰り返す」という現在も使われる基本設計を確立し、パラメータ数は全結合層(約1,700万)が畳み込み層(1層めで約35,000)を圧倒的に上回ることを示した。VGGNet(2013)はカーネルサイズを$11\times11$から$3\times3$へ縮小する代わりに層数を16〜19へ増やし、「複数層から成るブロックを積み重ねる」という設計単位を導入した。GoogleNet/Inception(2013)は$1\times1$・$3\times3$・$5\times5$の畳み込みを並列に並べてconcatすることで、目の前の人と10m先の人のようにスケールが大きく異なる対象を単一モデルで扱えるようにした。ResNet(2015)は[[残差学習]]によって層数を152まで伸ばし、SENet(2017)はSqueeze(Averaged Poolingでチャンネルごとの平均を集約)・Excitation(2層の全結合層とシグモイドでチャンネルマスクを作り掛け合わせる)という2操作から成るチャンネル方向の注意機構を導入した最初の成功例となった。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) 同章はさらに、この分類バックボーンをどう転用するかという実務面も記録する。Mask R-CNNは分類用ネットワーク(ResNetなど、最後のプーリング層を除く)を「バックボーンネットワーク(トランク)」として転用し、RPNによる検出候補列挙とRoIAlignによる固定サイズ変換を経てend-to-endで検出・インスタンスセグメンテーションを実現する。U-Netはセグメンテーションのために下層の高解像度特徴マップをスキップ接続で利用する。また、モバイル機器向けの高速化技術として、チャンネル方向の全結合をグループ内だけに限定するグループ化畳み込み(パラメータ数を$1/g$に削減、ResNeXTに応用)、グループ数をチャンネル数と一致させた極端な場合である深さごと畳み込み、学習パラメータなしに空間方向の情報を混ぜるシフトが紹介される。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 横断的知見 - CS231n は画像の空間構造に合わせた局所性・重み共有を CNN の効率性の根拠として説明する。一方、Transformer は系列変換で再帰と畳み込みを排し、任意位置間の依存を自己アテンションで直接結ぶ。両者の対比から、アーキテクチャ設計は「対象固有の局所性を強く埋め込む」方向と「全位置関係を柔軟に学習する」方向の間で帰納的バイアスを選択する問題だと分かる。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]], [[@2017__NeurIPS__Attention Is All You Need]]) - 2016 年版 CS231n が CNN・ResNet を視覚認識の中心に据える一方、現在の公式 CS231n は Transformer、自己教師あり学習、拡散モデル、CLIP、DINO まで課題範囲を拡張している。CNN は消滅したのではなく、現代のコンピュータビジョン教育における基礎的な表現学習層として残っている。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]], [[@2017__NeurIPS__Attention Is All You Need]]) - CS231nが通常の $3 \times 3$ 畳み込みを三層積んで $7 \times 7$ の受容野を得る設計を示すのに対し、膨張畳み込みはdilation 1、2の二層で同じ範囲へ到達し、三層目のdilation 4で $15 \times 15$へ広げる。受容野は層の深さだけでなく、各層のサンプリング間隔でも設計できる。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]], [[@2026__30papers__Multi-Scale Context Aggregation by Dilated Convolutions]]) - [[ResNet]]の実験では、バッチ正規化で勾配を保っても、深いplain networkは浅いモデルより訓練誤差が高くなった。CNNの深層化では、受容野や表現力だけでなく、[[残差学習]]のような接続構造が独立した最適化軸になる。一方、1202層ResNetが110層よりテスト誤差で劣ったことから、最適化可能な深さは汎化性能を自動的に保証しない。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]]) - **局所結合と重み共有という、CS231nが定義するCNNの核心的な帰納的バイアスは、1989年の郵便番号認識で個別の設計上の工夫として先に現れる**: [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] §11.7は、手書き数字認識(ZIP codeデータ)のために1989年にLe Cunが設計した5種類のネットワークのうちnet-3(局所結合)・net-4・net-5(局所結合+重み共有)を紹介し、net-4・net-5について「同じ線形フィルタが画像内の異なる位置に適用されるため、これらは畳み込みネットワークと呼ばれる」と明記する。本ページが定義する現代のCNN(局所受容野を持つ畳み込み層+同じフィルタの重みを空間位置間で共有)と、ESLが記録する1989年のnet-5の設計原理(局所結合+重み共有)は同一の機構である。ESLの実験は、全結合網(net-2、誤り率13.0%)に対し局所結合+重み共有(net-5)が誤り率を1.6%まで下げ、しかもリンク数(5194)は増えながら独立な重みの数(1060)はnet-2(3214)より少なくなることを示す。これは本ページが記す「局所接続は全結合によるパラメータ増加を避け、パラメータ共有は同じ特徴を異なる位置で検出する帰納的バイアスを与える」という定義を、CS231n(2016年以降の講義資料)より四半世紀早い一次資料で数値的に裏づける。ただしESLの記述はあくまで統計学の教科書としての1990年代の到達点(LeNet-5・boosted LeNet-4への言及どまり)であり、本ページが扱う2010年代以降の深層化・残差学習・Transformerとの対比には踏み込まない。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] §11.7, [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) - **畳み込み層の「疎な結合+重み共有」という帰納バイアスは、パターン検出を内積として定式化することから直接導出できる**: 『ディープラーニングを支える技術』第3章は、CS231nのように畳み込み層を局所受容野とフィルタとして天下り的に定義するのではなく、まず「画像とパターンの一致度はフロベニウスノルム ||x-p||²=||x||²-2⟨x,p⟩+||p||² により内積⟨x,p⟩の大きさで評価できる」という線形代数の性質から出発し、パターンを画像上でスライドしながら内積を取る操作(特徴マップ)として畳み込みを再構成する。この導出のもとでは、疎な結合(近傍領域内でしか内積を取らない)と重み共有(同じパターンpを全位置で使う)は、天下り的な設計選択ではなく、パターン検出という目的から必然的に導かれる帰結として理解できる。同書はさらに具体的なパラメータ数(入力(3,600,400)→出力(32,600,400)の例で総結合層が約5.5兆個に対し5×5カーネルの畳み込み層は2400個、20億分の1)を示し、CS231nの一般式 $(W-F+2P)/S+1$ と同じ削減効果を、より直感的な内積ベースの説明で裏づける。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 3 ディープラーニングの技術基礎]] §3.6) - **畳み込み層を重ねてパターンの組み合わせを検出する過程を、CS231nは「表現の階層」として可視化し、『ディープラーニングを支える技術』は「表現学習の獲得」として理論づける**: CS231nは初期層がエッジ・色の局所特徴を、深い層がより複雑な形状を捉えることを活性化・フィルタ可視化で経験的に示す(本ページ「表現の階層と可視化」節)。一方、同書第3章は、最初の畳み込みが縦棒・横棒・丸を検出し、次の畳み込みがその組み合わせ(十字・T字)を検出するというパターン合成のメカニズムを式で説明し、「このようなパターン検出の獲得が、画像の表現方法を学習しているとみなすことができる」と[[表現学習]]の具体例として位置づける。両ソースを合わせると、CS231nの可視化(何が起きているか)と本書の導出(なぜそれが起きるか)が補完し合う。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 3 ディープラーニングの技術基礎]] §3.6) - **本ページ「対象固有の局所性 対 全位置関係の柔軟な学習」という帰納バイアスの対比(上掲)に対し、『ディープラーニングを支える技術』第4章は同じ対比を「遠く離れた情報を集めるのに何ステップかかるか」という計算量の観点で定量化する**: 同書第4章 §4.4は、畳み込み層(+ダウンサンプリング、または膨張畳み込み)で系列長Nに対し遠く離れた位置の情報を集めるにはO(log N)ステップ必要になる(ダウンサンプリングで解像度を毎回1/2にする場合、64離れた位置には6ステップ必要という具体例を挙げる)のに対し、注意機構はどれほど離れた位置の情報も1ステップで集約できると対比する。これはCS231nが局所受容野を効率性の根拠として肯定的に説明するのとは逆に、局所性が持つ代償(遠距離情報伝達のステップ数)を明示する視点であり、[[膨張畳み込み]]ページが扱う「受容野をどう層の深さ・サンプリング間隔で設計するか」という問題を、Transformerとの対比というより広い文脈に位置づけ直す。(Source: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - **第4章が数式で導出したスキップ接続の勾配保存機構(∂h_{i+1}/∂h_i=I+∂f/∂h_i)は、第5章ではResNetが152層まで層数を伸ばした実績として、SENetが注意機構(第4章の主題)を画像認識バックボーンへ実装した実績として、それぞれ経験的な裏づけを得る**: 第4章はスキップ接続がなぜ勾配消失を防ぐかを理論的に示すにとどまるが、第5章は「ResNetはスキップ接続を導入することで、層数を一気に152まで増やし、性能を大幅に改善した」という具体的な層数と成果を記録する。同様に、第4章が注意機構の表現力・学習効率・汎化能力の改善を理論的に説明するのに対し、第5章のSENetはSqueeze(特徴マップ集約)・Excitation(チャンネルマスク)という2操作による具体的なチャンネル注意機構として、その理論を画像分類ネットワークに実装した最初の成功例(ILSVRC 2017優勝)である。理論(第4章)と実装・実績(第5章)が同一書籍内の別章として補完し合う。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.3-§4.4, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) - **第3章が導出する「パラメータ共有による削減」と、第5章が導入するグループ化畳み込み・深さごと畳み込みによる「チャンネル方向の疎結合による削減」は、同じ削減目標(パラメータ数・計算量)に対する異なる軸の答えである**: 第3章§3.6は、同じパターンpを全空間位置で使い回す(重み共有)ことでパラメータ数を削減する(本ページ「内積による導出」参照)。これは空間方向の削減である。第5章§5.1のグループ化畳み込みは、チャンネル方向の全結合をグループ内だけに制限することでパラメータ数を$k^2c^2$から$k^2c^2/g$へ削減し、グループ数をチャンネル数と一致させた深さごと畳み込みでは$k^2c$まで削減する。これはチャンネル方向の削減である。両者を並べると、CNNのパラメータ削減は「空間方向の重み共有」と「チャンネル方向の疎結合」という独立した2つの軸で行われており、後者(グループ化畳み込み)はさらにアンサンブルに似た汎化性能の改善効果も持つことが第5章で報告されている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 3 ディープラーニングの技術基礎]] §3.6, [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 未解決の問い - CNN の局所性・平行移動に対する重み共有は、どの規模・種類の画像データで自己アテンションよりデータ効率に優れるか。 - CNN と視覚 Transformer のハイブリッドでは、局所受容野と大域的関係学習をどの段階で分担すべきか。 - 遮蔽・勾配・活性可視化が示す領域は、モデルの因果的な判断根拠とどこまで一致するか。 - 2016 年の転移学習則は、大規模な自己教師あり視覚モデルや視覚言語モデルにも同じ形で成立するか。 - 密予測において、膨張畳み込みの疎なサンプリングとエンコーダ・デコーダによる解像度回復は、どの対象尺度で優劣が入れ替わるか。 - 内積ベースのパターン一致度という導出は、畳み込み以外の重み共有機構(回帰結合層、Transformerの位置間重み共有など)にも同様に一般化できるか。 - 畳み込みのO(log N)対注意機構のO(1)という遠距離情報伝達のステップ数の差は、実際のタスク性能差にどこまで直結するか。膨張畳み込みでステップ数を抑えた場合、注意機構との差はどの程度縮まるか。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] §4.4) - グループ化畳み込みが汎化性能を改善する「アンサンブルのような効果」は、通常のアンサンブル学習(複数モデルの多数決)とどこまで同一の機構で説明できるか。グループ数gをどう選ぶと汎化改善と表現力低下のトレードオフが最適になるか。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) - SENetのチャンネル注意機構(Squeeze-Excitation)と、第4章が導出するクエリ・キー・値による自己注意機構は、同じ「注意機構」という呼称を共有するが定式化が大きく異なる(SENetはクエリ・キー内積ではなく2層MLP+シグモイドでマスクを作る)。両者はどこまで統一的な枠組みで説明できるか。 ## 関連 - ソース: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]] - 深層化: [[@2026__30papers__Deep Residual Learning for Image Recognition]]、[[ResNet]]、[[残差学習]] - 密予測: [[@2026__30papers__Multi-Scale Context Aggregation by Dilated Convolutions]]、[[膨張畳み込み]] - 比較対象: [[@2017__NeurIPS__Attention Is All You Need]]、[[注意機構]] - 解釈: [[帰属手法]] - 源流: [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]](1989年ZIP codeネットワークの局所結合+重み共有) - 内積による導出: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 3 ディープラーニングの技術基礎]](パターン一致度=内積という定式化)、[[表現学習]] - 遠距離情報伝達の比較: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]](畳み込みのO(log N)対注意機構のO(1)) - 実アーキテクチャの発展・高速化: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]]、[[AlexNet]]、[[ResNet]]、[[VGGNet]]、[[GoogleNet]]、[[DenseNet]]、[[SENet]]、[[U-Net]]、[[Mask R-CNN]]、[[物体検出]]、[[画像セグメンテーション]] - 人物: [[Yann LeCun]]、[[Fei-Fei Li]]、[[Andrej Karpathy]]、[[Justin Johnson]] ## 出典 - [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]] - [[@2026__30papers__Multi-Scale Context Aggregation by Dilated Convolutions]] - [[@2026__30papers__Deep Residual Learning for Image Recognition]] - [[@2017__NeurIPS__Attention Is All You Need]] - [[@2009__Springer__The Elements of Statistical Learning - Chapter 11 Neural Networks]] - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第3章 §3.6, 第4章 §4.4, 第5章 §5.1.