# Geoffrey Hinton ## 概要 Geoffrey E. Hinton はニューラルネットワーク・ディープラーニングの先駆者であり、「ディープラーニングのゴッドファーザー」と称される。バックプロパゲーションの普及・制限付きボルツマンマシン・キャプスネット等の研究で知られる。2018 年にチューリング賞を受賞。[[Google Brain]] に所属しつつトロント大学の名誉教授を務め、2023 年に Google を退社。 [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]] の共著者として、スパースゲート型 MoE 層の研究に参加した。 ## ディープラーニングの提唱(2006年) 2006年、University of Torontoで層数の多いニューラルネットワークの学習に成功したと報告し、これを「ディープラーニング(deep learning、深層学習)」と名づけた。当時は機械学習コミュニティの中でまだマイナーな存在だったが、[[Yann LeCun]](New York University)、[[Yoshua Bengio]](University of Montreal)らとともに研究を進め、この時期の功績により3名は共同でチューリング賞を受賞した。2012年のILSVRCで[[AlexNet]]がコミュニティに衝撃を与えた成功の背景にはHintonの研究室での蓄積があった。ディープラーニングの企業導入が広がったきっかけの一つとして、Hinton自身が、学生Navdeep JaitlyがUniversity of Torontoで作っていた音声認識システムをGoogleに持ち込み従来システムを超える性能を示したことを挙げている。(Source: [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]]) ## 主な貢献(wiki 収録ソース) - **[[@2026__30papers__Keeping Neural Networks Simple by Minimizing the Description Length of the Weights]]**: Drew van Campとの共著で、重みを独立ガウス事後分布として学習し、期待データ誤差とbits-backによる重み符号長を同時に最小化した。後の[[変分ベイズニューラルネットワーク]]に先行する構成である。 - **[[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]]**: [[Alex Krizhevsky]]、[[Ilya Sutskever]]との共著者。[[AlexNet]]により大規模画像データ、深いCNN、GPU学習、過学習対策を統合し、ILSVRC-2012で従来法を大幅に上回った。 - **[[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]]**: 共著者。スパースゲート型 MoE 層の設計・実証に参加。 ## 関連 - [[Google Brain]] - [[変分ベイズニューラルネットワーク]] - [[最小記述長原理]] - [[AlexNet]] - [[Alex Krizhevsky]] - [[Ilya Sutskever]] - [[Noam Shazeer]] - [[Jeffrey Dean]] - [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]] - [[Mixture-of-Experts]] - [[Yann LeCun]] / [[Yoshua Bengio]](ディープラーニング提唱期の同僚、共同チューリング賞受賞者) - [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]] ## 出典 - [[@2026__30papers__Keeping Neural Networks Simple by Minimizing the Description Length of the Weights]](共著者) - [[@2026__30papers__ImageNet Classification with Deep Convolutional Neural Networks]](共著者) - [[@2017__ICLR__Outrageously Large Neural Networks The Sparsely-Gated Mixture-of-Experts Layer]](共著者) - 岡野原大輔, 『ディープラーニングを支える技術』, 技術評論社, 2022, 第1章 §1.2.