# AlexNet ## 定義 AlexNet は、[[Alex Krizhevsky]]、[[Ilya Sutskever]]、[[Geoffrey Hinton]]が2012年に発表した大規模画像分類用の[[畳み込みニューラルネットワーク]]である。重みを持つ5つの畳み込み層と3つの全結合層、約6000万パラメータからなり、[[ImageNet]]のILSVRC-2012で従来法を大幅に上回った。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 設計 入力画像は256×256へ整形した後、224×224のパッチとして与える。畳み込み層は96個の11×11フィルタから始まり、256個の5×5、384個の3×3、384個の3×3、256個の3×3へ続く。全結合層は4096、4096、1000ニューロンで構成し、最後に1000クラスのsoftmaxを置く。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) 全ての畳み込み層と全結合層の出力へReLUを適用し、飽和型活性化より学習を高速化する。第1・第2畳み込み層の後には局所応答正規化と重複最大プーリングを、第5畳み込み層の後には重複最大プーリングを置く。最初の2全結合層には確率0.5のドロップアウトを適用する。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## ハードウェアとの協調設計 当時のGTX 580 GPUは1基あたり3GBのメモリしか持たず、モデル全体を収容できなかった。AlexNetはカーネルを2基のGPUへ分割し、第2・第4・第5畳み込み層では同じGPU上の前層特徴マップだけに接続する一方、第3層と全結合層では両GPU間の情報を統合した。通信する層を限定し、計算量に対する通信量を調整する構造である。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) モデルは2基の[[NVIDIA]] GTX 580 3GB GPU上で、120万枚の画像を約90周し、5〜6日かけて学習した。深層化だけでなく、モデル配置・GPU間通信・データ生成を一体化した点が、大規模CNNを実験可能にした。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 過学習対策 画像のランダム切り出しと水平反転、およびRGB主成分方向への色強度摂動によりデータを拡張した。前者は見かけ上の訓練集合を2048倍にし、後者は照明変化に対する物体同一性を近似する。最初の2全結合層で用いたドロップアウトは、隠れニューロンの共適応を抑え、約6000万パラメータの過学習を緩和した。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 性能 ILSVRC-2010では単一CNNがtop-1誤り率37.5%、top-5誤り率17.0%を達成した。ILSVRC-2012では単一モデルのtop-5検証誤り率は18.2%、5モデル平均は16.4%、ImageNet Fall 2011で事前学習した2モデルを加えた7モデルアンサンブルのtop-5テスト誤り率は15.3%だった。次点は26.2%であり、アンサンブル同士の差は10.9ポイントである。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]) ## 横断的知見 - AlexNet論文ではReLU、GPU分割、局所応答正規化、重複プーリング、データ拡張、ドロップアウトが個別の工夫として説明される。一方、後年のCS231nは`CONV → RELU → POOL → FC`をCNNの標準的な教育単位として提示し、AlexNetをLeNetからResNetへ続くアーキテクチャ史の一段階に位置づける。研究上の複合的な実証が、数年で再利用可能な設計語彙へ抽象化されたことが分かる。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) - AlexNetのGPU分割接続は3GBメモリとGPU間通信という2012年の制約をモデル構造へ埋め込んだ。一方、CS231nが紹介するVGG型設計は小さな3×3フィルタの反復で構造を規則化し、ResNetは残差接続で深さを拡張する。後続CNNの進化は、AlexNetが確立した「大規模データとGPUで深いCNNを学習する」枠組みを維持しつつ、ハードウェア固有の分割から再利用しやすい構造原理へ重心を移したと読める。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) - AlexNetはImageNetを最終評価ベンチマークとして用いるだけでなく、Fall 2011全体で事前学習したモデルをILSVRC-2012へ微調整した。CS231nが後にImageNet事前学習モデルの固定特徴抽出・微調整を実践標準として教えることから、AlexNetには大規模事前学習と下流適応という転移学習パターンの初期形も含まれていた。(Source: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]], [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]) ## 未解決の問い - AlexNetの性能差のうち、モデル深度、ImageNetの規模、ReLU、GPU実装、データ拡張、ドロップアウトがそれぞれどの程度を説明するか。 - 2基のGPUへ分割したことで生じた色依存・色非依存フィルタの専門化は、意図した帰納的バイアスなのか、通信制約の偶然的産物なのか。 - 公式HTML要旨と公式PDFで訓練画像数・誤り率・ニューロン数・全結合層数が異なるのは、どの版の結果を反映したためか。 - AlexNetの歴史的影響を、ImageNetのデータ効果とGPU計算の効果からどのように分離して評価できるか。 ## 関連 - 原典案内: [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]] - 後年の教材: [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]] - 一般概念: [[畳み込みニューラルネットワーク]] - データセット: [[ImageNet]] - 著者: [[Alex Krizhevsky]]、[[Ilya Sutskever]]、[[Geoffrey Hinton]] - 計算基盤: [[NVIDIA]] ## 出典 - [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]] - [[@2026__30papers__CS231n Convolutional Neural Networks for Visual Recognition]]