# Mask R-CNN 検出とインスタンスセグメンテーション結果の両方を出力できるアーキテクチャ。画像分類用ネットワーク(ResNetなど、最後のプーリング層を除く)をバックボーンネットワーク(トランク)として特徴抽出し、その特徴を元にRPN(Regional proposal network)が物体の検出候補を列挙し、各候補が実際に出現しているかとその正確な位置を推定する(この検出候補列挙と処理をR-CNN、Region based convolutional neural networkと呼ぶ)。続いて、各検出候補についてその領域で実際に候補が写っている領域をMaskすることでインスタンスセグメンテーションを実現する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 3段構成 1. **バックボーンによる特徴抽出**: ImageNet等で事前学習したネットワークを流用することが多い。学習データが十分大きければこの転用効果は消える。 2. **RPNによる検出候補の列挙**: バックボーン最後の特徴マップを入力に、各位置・各アンカーボックス(代表的な矩形をあらかじめ列挙、または学習データ統計から求める)で物体が出現したかをカーネルサイズ$1\times1$の畳み込みで並列予測する。 3. **RoIAlignによる固定サイズ変換**: 検出候補で切り出された特徴マップを双線形補間で固定サイズへ変換する(Region of interest align)。あたかも検出候補を固定サイズへズームアップする操作であり、微分可能なためend-to-endで学習できる。RoIAlignで抽出した特徴マップを元に、出現ラベル・詳細位置・セグメンテーションマスクを推定する。 (Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 関連 - バックボーン: [[ResNet]] - 概念: [[物体検出]] / [[画像セグメンテーション]] - 比較: [[CornerNet]]・[[CenterNet]](ヒートマップベースの代替手法、[[物体検出]]参照) - 章: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第5章 §5.1.