@2026__30papers__Multi-Scale Context Aggregation by Dilated Convolutions

# Multi-Scale Context Aggregation by Dilated Convolutions > [!abstract] 概要 > [[Fisher Yu]] と [[Vladlen Koltun]] は、画像分類用 CNN を密予測へ流用すると解像度と大域的文脈の間に不必要なトレードオフが生じると指摘し、[[膨張畳み込み]]を使う文脈モジュールを提案した。フィルタ係数の間隔を広げることで特徴マップを縮小せずに受容野を指数的に拡大し、セマンティックセグメンテーションの精度を改善する。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) ## ソース情報 - **掲載元**: [30papers](https://30papers.com/papers/dilated-convolutions/) - **原論文**: [arXiv:1511.07122](https://arxiv.org/abs/1511.07122) - **著者**: [[Fisher Yu]]、[[Vladlen Koltun]] - **初回投稿**: 2015-11-23 - **発表**: ICLR 2016 - **コード**: [fyu/dilation](https://github.com/fyu/dilation) 30papers の個別ページは原論文全文を動的に掲載し、「解像度を失わず受容野を拡大することが密予測を改善した論文」と位置づける。本ノートでは30papers掲載本文を原論文の arXiv 版で照合した。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) ## 密予測と画像分類の構造差画像分類は最終的に画像全体へ一つのラベルを返すため、プーリングとサブサンプリングで解像度を下げながら大域的文脈を集約できる。セマンティックセグメンテーションは各画素の位置精度と広域の文脈を同時に必要とするため、このピラミッド型設計をそのまま使うと、一度失った解像度を後段で回復する追加処理が必要になる。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) 論文の問いは、密予測に深い中間ダウンサンプリングが本当に必要か、入力画像を複数尺度へ変換して別々に処理する必要があるか、という点にある。提案モジュールはプーリングもサブサンプリングも使わず、同じ解像度の畳み込み層を積み重ねて複数スケールの文脈を集約する。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) ## 膨張畳み込み離散特徴マップ $F$ とフィルタ $k$ に対する dilation factor $l$ の膨張畳み込みは、次で定義される。 $ (F *_l k)(p)=\sum_{s+lt=p}F(s)k(t) $ $l=1$ は通常の畳み込みである。$l$ を大きくすると、学習パラメータ数や出力解像度を増減させず、同じフィルタ係数をより離れた入力位置へ適用できる。論文は歴史的な algorithme à trous との関係を認めつつ、フィルタ自体へ穴を挿入して新しいフィルタを構成するのではなく、一つの演算子を異なる範囲へ直接適用する定義として整理する。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) ![[_attachments/30papers-dilated-convolutions/fig01-dilation-1.png]] Dilation 1 の $3 \times 3$ 畳み込みは $3 \times 3$ の受容野を持つ。(Source: [30papers掲載本文](https://30papers.com/papers/dilated-convolutions/)) ![[_attachments/30papers-dilated-convolutions/fig02-dilation-2.png]] 次層で dilation 2 を使うと受容野は $7 \times 7$ へ広がる。(Source: [30papers掲載本文](https://30papers.com/papers/dilated-convolutions/)) ![[_attachments/30papers-dilated-convolutions/fig03-dilation-4.png]] さらに dilation 4 を使うと受容野は $15 \times 15$ へ広がる。各層のパラメータ数は同じであり、層数に対してパラメータ数は線形、受容野は指数的に増える。(Source: [30papers掲載本文](https://30papers.com/papers/dilated-convolutions/)) ## 文脈モジュール Basic モジュールは $3 \times 3$ 畳み込みを dilation 1、1、2、4、8、16、1 の順に重ね、最後に $1 \times 1$ 畳み込みで予測する。各層の後に ReLU を置き、受容野を $67 \times 67$ まで拡大する。Large モジュールは同じ考え方で中間チャネル数を増やす。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) 著者らは文脈モジュールを恒等写像に近い状態から初期化した。無作為初期化では学習に失敗したため、すでに合理的な前段予測を壊さず、残差的に文脈情報を加える初期条件が重要だったと考察している。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) ## 密予測向けフロントエンド VGG-16 を密予測へ適応する際、最後の二つのプーリング層とストライドを取り除き、その後の畳み込み dilation を、除去したプーリング一段につき2倍にする。これにより事前学習済みフィルタを再利用しながら、内部特徴の解像度を保つ。分類用アーキテクチャの名残である過剰なダウンサンプリングや不要な中間パディングを除いた単純化フロントエンドは、Pascal VOC 2012 test で mean IoU 67.6を記録し、同じ比較表の FCN-8s 62.2、DeepLab 62.1を上回った。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) ## 実験結果 Pascal VOC 2012 validation の制御比較では、フロントエンド単体の mean IoU 69.8に対し、Basic 文脈モジュールは71.3、Large は72.1だった。CRFまたはCRF-RNNを加えた場合も文脈モジュールの上積みは残り、Large+CRF-RNNは73.9に達した。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) test set ではフロントエンド71.3、Context 73.5、Context+CRF 74.7、Context+CRF-RNN 75.3だった。付録では CamVid 65.3、KITTI 59.2、Cityscapes で class-level 67.1 / category-level 86.5 mean IoUを報告し、手法が複数の道路・都市シーンデータセットへ適用できることを示した。(Source: [[.raw/articles/30papers-dilated-convolutions-2026-07-28]]) ## 評価 ### 強み - 解像度、受容野、パラメータ数の関係を演算子の定義からネットワーク設計まで一貫して説明している。 - 分類網の流用部分と新しい文脈モジュールを分けた制御比較により、単純化と提案手法の効果を区別している。 - CRF・CRF-RNNとの併用でも改善が残り、局所予測と構造化予測の補完性を示している。 ### 限界 - 評価の中心は VGG-16 系フロントエンドと2015年前後のセグメンテーション手法であり、後年のエンコーダ・デコーダやアテンション系との比較は含まれない。 - 大きい dilation を規則的に積む際の疎なサンプリングが、細部や周期構造へ与える影響は系統的に評価されていない。 - 恒等写像に近い初期化が必要だったことは、モジュール単体の最適化が初期条件に敏感だった可能性を示す。 ## 関連 - 概念: [[膨張畳み込み]]、[[畳み込みニューラルネットワーク]] - 著者: [[Fisher Yu]]、[[Vladlen Koltun]] - 所属: [[Princeton University]] ## 出典 - [[.raw/articles/30papers-dilated-convolutions-2026-07-28]] - [30papers: Multi-Scale Context Aggregation by Dilated Convolutions](https://30papers.com/papers/dilated-convolutions/) - [arXiv:1511.07122](https://arxiv.org/abs/1511.07122) - [ar5iv full text](https://ar5iv.labs.arxiv.org/html/1511.07122)