# SENet 2017年のILSVRCで優勝した画像分類ネットワークであり、[[注意機構]]を導入して成功した最初の画像認識モデルである。Squeeze(特徴マップを集約する操作)とExcitation(特定チャンネルの情報のみを残す操作)から成り、チャンネルを対象とした注意機構とみなすことができる。ResNetの計算ブロックの直後に置かれるのが一般的である。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## Squeeze操作とExcitation操作 Squeeze操作は、特徴マップ全体でAveraged Poolingを適用しチャンネルごとの平均値を計算する(空間方向を潰していることから「Squeeze」と命名)。これにより空間方向が$1\times1$でチャンネル数を長さとして持つベクトルが得られる。続いて2層の全結合層を適用しシグモイドでどのチャンネルを残すかを決めるマスク$m$を作り、元の特徴マップに要素ごとに掛け算するScale操作($h=h*m$)を適用する(チャンネルを活性化させることからExcitation操作と呼ぶ)。各チャンネルはパターンによる検出結果であり画像中の異なる特徴(動物の毛、乗り物など)を捉えている。最初のSqueeze操作で画像全体の情報を集約し、画像全体では何が写っているかを求め、関連するチャンネルだけを残すマスクを作成することで、不必要な情報を取り除きつつ学習時にも無関係なチャンネルが更新されなくなるため、学習の安定化・収束の高速化・汎化性能の改善に貢献する。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) ## 関連 - 適用先: [[ResNet]] - 概念: [[注意機構]] / [[畳み込みニューラルネットワーク]] - 章: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第5章 §5.1.