# AlexNet ## 定義 AlexNet は、[[Alex Krizhevsky]]、[[Ilya Sutskever]]、[[Geoffrey Hinton]]が2012年に発表した大規模画像分類用の[[畳み込みニューラルネットワーク]]である。重みを持つ5つの畳み込み層と3つの全結合層、約6000万パラメータからなり、[[ImageNet]]のILSVRC-2012で従来法を大幅に上回った。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 設計 入力画像は256×256へ整形した後、224×224のパッチとして与える。畳み込み層は96個の11×11フィルタから始まり、256個の5×5、384個の3×3、384個の3×3、256個の3×3へ続く。全結合層は4096、4096、1000ニューロンで構成し、最後に1000クラスのsoftmaxを置く。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) 全ての畳み込み層と全結合層の出力へReLUを適用し、飽和型活性化より学習を高速化する。第1・第2畳み込み層の後には局所応答正規化と重複最大プーリングを、第5畳み込み層の後には重複最大プーリングを置く。最初の2全結合層には確率0.5のドロップアウトを適用する。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## ハードウェアとの協調設計 当時のGTX 580 GPUは1基あたり3GBのメモリしか持たず、モデル全体を収容できなかった。AlexNetはカーネルを2基のGPUへ分割し、第2・第4・第5畳み込み層では同じGPU上の前層特徴マップだけに接続する一方、第3層と全結合層では両GPU間の情報を統合した。通信する層を限定し、計算量に対する通信量を調整する構造である。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) モデルは2基の[[NVIDIA]] GTX 580 3GB GPU上で、120万枚の画像を約90周し、5〜6日かけて学習した。深層化だけでなく、モデル配置・GPU間通信・データ生成を一体化した点が、大規模CNNを実験可能にした。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 過学習対策 画像のランダム切り出しと水平反転、およびRGB主成分方向への色強度摂動によりデータを拡張した。前者は見かけ上の訓練集合を2048倍にし、後者は照明変化に対する物体同一性を近似する。最初の2全結合層で用いたドロップアウトは、隠れニューロンの共適応を抑え、約6000万パラメータの過学習を緩和した。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 性能 ILSVRC-2010では単一CNNがtop-1誤り率37.5%、top-5誤り率17.0%を達成した。ILSVRC-2012では単一モデルのtop-5検証誤り率は18.2%、5モデル平均は16.4%、ImageNet Fall 2011で事前学習した2モデルを加えた7モデルアンサンブルのtop-5テスト誤り率は15.3%だった。次点は26.2%であり、アンサンブル同士の差は10.9ポイントである。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 教科書から見た位置づけ 2012 年の ILSVRC で従来手法を大きく凌駕して圧勝し、ディープラーニングが機械学習コミュニティの中心的手法として認識される転機となった。主催者の [[Fei-Fei Li]] は「まさか新手法ではなく、ずっと知っていたニューラルネットワークが達成するとは」と驚いたと述べている。単発の精度向上にとどまらず、その後 5 年近くにわたり ILSVRC のエラー率が毎年半分になるという成長を牽引した。学習には [[ImageNet]] の約 100 万枚の画像を使い、GPU で高速化してもなお 1 週間弱を要した。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]) 設計上の骨格は、最初の数層(カーネルサイズ $11\times11$、$5\times5$)で特徴マップの空間解像度を $224\times224$ から $13\times13$ まで一気に落とし、その解像度で畳み込みを 3 回繰り返してから $1\times1$ の解像度で全結合層を適用し、クラス数 1000 と同じ次元のスコアを Softmax で出力する、というものである。この「空間解像度を先に落としてから畳み込みを繰り返す」設計は現在の画像認識でも変わらず使われている。パラメータ数は全結合層が支配的で、1 層めの畳み込み層が約 35,000 個、$13\times13$ の畳み込み層が約 130 万個であるのに対し、全結合層は約 1,700 万個を占める。一方で特徴マップの大きさは入力(約 15 万)の直後に $55\times55\times48\times2$ ≒ 約 29 万まで一度大きくなり、以降は空間サイズが 1/4 になるのにチャンネル数はたかだか 2 倍にしかならないため小さくなる一方である。畳み込みニューラルネットワークでは入力直後の特徴マップが全体で最も大きくなりがちであることを示す例になっている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] §5.1) > [!contradiction] 層数の数え方 > 教科書は AlexNet の層数を「11 層」とし、深層学習登場以前の一般的な 5 層程度のネットワークから増加した最初期の事例と位置づける(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]])。一方、原論文は「重みを持つ 5 つの畳み込み層と 3 つの全結合層」= 8 層として記述する(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]])。プーリング層など重みを持たない層を数に含めるかどうかの差と考えられるが、教科書側は数え方を明示していない。 ## 横断的知見 - 原論文と教科書とで、GPU への分割(モデル並列)の位置づけが異なる。原論文は GTX 580 の 3GB という制約に合わせてカーネルを 2 基へ分割し、通信する層を限定することで計算量に対する通信量を調整する**設計上の工夫**として説明する。一方、教科書は同じ構造を「1 台の GPU に載らないモデルを複数 GPU で動かすモデル並列の初期例」として、後年の分散学習の系譜の起点に位置づける。当時の制約への対処が、後から見ると一般的な手法の先駆けとして読み直されている。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]]) - 原論文はパラメータ数(約 6000 万)を過学習対策(ドロップアウト・データ拡張)を導入する理由として提示するが、教科書はパラメータ数と特徴マップサイズを**層ごとに分解**し、パラメータは全結合層に、メモリは入力直後の特徴マップに偏るという非対称を示す。同じアーキテクチャでも、精度の観点から読むか計算資源の観点から読むかで着目する量が変わる。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]]) - AlexNet論文ではReLU、GPU分割、局所応答正規化、重複プーリング、データ拡張、ドロップアウトが個別の工夫として説明される。一方、後年のCS231nは`CONV → RELU → POOL → FC`をCNNの標準的な教育単位として提示し、AlexNetをLeNetからResNetへ続くアーキテクチャ史の一段階に位置づける。研究上の複合的な実証が、数年で再利用可能な設計語彙へ抽象化されたことが分かる。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) - AlexNetのGPU分割接続は3GBメモリとGPU間通信という2012年の制約をモデル構造へ埋め込んだ。一方、CS231nが紹介するVGG型設計は小さな3×3フィルタの反復で構造を規則化し、ResNetは残差接続で深さを拡張する。後続CNNの進化は、AlexNetが確立した「大規模データとGPUで深いCNNを学習する」枠組みを維持しつつ、ハードウェア固有の分割から再利用しやすい構造原理へ重心を移したと読める。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) - AlexNetはImageNetを最終評価ベンチマークとして用いるだけでなく、Fall 2011全体で事前学習したモデルをILSVRC-2012へ微調整した。CS231nが後にImageNet事前学習モデルの固定特徴抽出・微調整を実践標準として教えることから、AlexNetには大規模事前学習と下流適応という転移学習パターンの初期形も含まれていた。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) ## 未解決の問い - AlexNetの性能差のうち、モデル深度、ImageNetの規模、ReLU、GPU実装、データ拡張、ドロップアウトがそれぞれどの程度を説明するか。 - 2基のGPUへ分割したことで生じた色依存・色非依存フィルタの専門化は、意図した帰納的バイアスなのか、通信制約の偶然的産物なのか。 - 公式HTML要旨と公式PDFで訓練画像数・誤り率・ニューロン数・全結合層数が異なるのは、どの版の結果を反映したためか。 - AlexNetの歴史的影響を、ImageNetのデータ効果とGPU計算の効果からどのように分離して評価できるか。 - 教科書のいう「11 層」は何を数に含めているか。プーリング層を含めた数え方だとすると、層数を語るときの単位が文献間で揃っていないことになる。 - 「空間解像度を先に落としてから畳み込みを繰り返す」設計が現在も使われ続けているのは、精度上の必然か、それとも入力直後の特徴マップがメモリの上限を決めるという計算資源上の制約によるものか。 ## 関連 - 後続アーキテクチャ: [[VGGNet]] → [[GoogleNet]] → [[ResNet]] → [[SENet]] / [[DenseNet]] - 教科書の章: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]] / [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] - 原典案内: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]] - 後年の教材: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]] - 一般概念: [[畳み込みニューラルネットワーク]] - データセット: [[ImageNet]] - 著者: [[Alex Krizhevsky]]、[[Ilya Sutskever]]、[[Geoffrey Hinton]] - 計算基盤: [[NVIDIA]] ## 出典 - [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]] - [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]] - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第1章 §1.2, 第5章 §5.1.