@2026__30papers__Identity Mappings in Deep Residual Networks

# Identity Mappings in Deep Residual Networks > [!abstract] 概要 > 初代[[ResNet]]を接続構造から分析し、恒等ショートカットと加算後の恒等活性化が、残差ユニットをまたぐ「きれいな」情報経路を作ることを示す。スケーリング・ゲーティング・畳み込みなどでショートカットを変換すると最適化が悪化することをアブレーションで確認し、バッチ正規化とReLUを重み層の前へ移す完全事前活性化(full pre-activation)残差ユニットを提案した。 ## 論文情報 - **著者**: [[Kaiming He]]、[[Xiangyu Zhang]]、[[Shaoqing Ren]]、[[Jian Sun]] - **所属**: [[Microsoft Research]] - **媒体**: ECCV 2016、pp. 630–645 - **原典**: [arXiv:1603.05027](https://arxiv.org/abs/1603.05027) / [DOI](https://doi.org/10.1007/978-3-319-46493-0_38) - **30papers掲載情報**: [[.raw/articles/30papers-identity-mappings-resnets-2026-07-28.md]] ## 直接伝播の導出残差ユニットを $y_l=h(x_l)+\mathcal{F}(x_l,W_l)$、$x_{l+1}=f(y_l)$ と表す。ショートカット $h$ と加算後の活性化 $f$ がともに恒等写像なら、任意の浅いユニット $l$ と深いユニット $L$ の間で次が成り立つ。 $x_L=x_l+\sum_{i=l}^{L-1}\mathcal{F}(x_i,W_i)$ 逆伝播では勾配が、重み層を通らず直接伝わる加法項と、残差関数を通る項に分かれる。勾配が多数の重み行列の積だけで表されないことが、極端に深いネットワークの最適化を支えるという分析である。ただし、次元変更に射影ショートカットを使う少数のユニットでは、この導出は厳密には成立しない。(Source: [arXiv原典](https://arxiv.org/abs/1603.05027)) ## 恒等ショートカットのアブレーション ResNet-110のCIFAR-10誤差は、恒等ショートカットで6.61%だった。ショートカットを定数0.5で縮小すると、残差側も0.5にした場合でも12.35%となり、1×1畳み込みでは12.22%、ドロップアウトでは学習に失敗した。ゲーティングも初期値に強く依存し、恒等写像へ近づけた場合だけ基準値に近づいた。より多くのパラメータと表現力を持つ変換でも訓練誤差が高かったことから、悪化の原因は表現力不足ではなく最適化にあると著者らは解釈した。(Source: [arXiv原典](https://arxiv.org/abs/1603.05027)) ![[_attachments/30papers-identity-mappings-resnets/fig02-shortcut-variants.png]] *恒等・スケーリング・ゲーティング・畳み込み・ドロップアウトの各ショートカット。灰色の経路へ乗算的な操作を加えるほど直接伝播を妨げる。* ## 完全事前活性化初代ResNetは、加算後にReLUを置くため、負の信号をユニットごとに切り捨てる。提案ユニットはバッチ正規化とReLUを各重み層の前へ移し、加算後には操作を置かない。これによりユニット間の経路を恒等写像として保ちつつ、全重み層への入力を正規化する。著者らは、効果を「最適化の容易化」と「バッチ正規化による正則化」の二つに分けている。(Source: [arXiv原典](https://arxiv.org/abs/1603.05027)) ![[_attachments/30papers-identity-mappings-resnets/fig03-activation-variants.png]] *活性化位置だけを変えた比較。完全事前活性化はResNet-110とResNet-164の双方で最小誤差となった。* 1001層では違いが顕著であり、初代ユニットのCIFAR-10誤差7.61%に対して完全事前活性化は4.92%だった。ミニバッチを64へ変更した実験では4.62%を達成した。CIFAR-100でも1001層モデルは27.82%から22.71%へ改善した。(Source: [arXiv原典](https://arxiv.org/abs/1603.05027)) ![[_attachments/30papers-identity-mappings-resnets/fig01-preactivation-unit.png]] *初代ユニットと完全事前活性化ユニット、およびCIFAR-10における1001層モデルの学習曲線。* ## ImageNetでの結果 ResNet-152では、初代ユニットと事前活性化ユニットのtop-1誤差は21.3%と21.1%で差が小さかった。一方、初代ResNet-200は訓練誤差が低いにもかかわらず検証誤差21.8%で過学習し、事前活性化版は20.7%へ1.1ポイント改善した。尺度・アスペクト比拡張を使った事前活性化ResNet-200は20.1%を得た。(Source: [arXiv原典](https://arxiv.org/abs/1603.05027)) ## 評価と限界本論文は、初代ResNetの経験的成功を「残差を学ぶ」だけでなく、「情報を変換せず伝える経路をどこまで保つか」という原理へ掘り下げた。完全事前活性化は、後のGPT-2が採用した事前正規化型Transformerにもつながる設計である。(Source: [[@2026__30papers__Deep Residual Learning for Image Recognition]], [[@2019__OpenAI__Language Models are Unsupervised Multitask Learners]]) 一方、順伝播・逆伝播の式は最適化改善の厳密な収束証明ではない。事前活性化による正則化効果も、バッチ正規化が原因だという説明は著者らの推測である。計算費用はCIFAR-10の1001層モデルで2 GPU・約27時間、ImageNetの200層モデルで8 GPU・約3週間に達した。(Source: [arXiv原典](https://arxiv.org/abs/1603.05027)) ## 関連 - 先行研究: [[@2026__30papers__Deep Residual Learning for Image Recognition]] - モデル: [[ResNet]] - 概念: [[残差学習]] - 著者: [[Kaiming He]] / [[Xiangyu Zhang]] / [[Shaoqing Ren]] / [[Jian Sun]] - 所属: [[Microsoft Research]]