# ディープラーニングを支える技術 ## 概要 岡野原大輔による、ディープラーニングの基本原理から近年の発展までを一冊で扱う日本語の技術解説書である。個別手法をカタログ的に並べるのではなく、その背後にある原理・原則・考え方を軸に据え、そこから各手法を位置づけて説明する構成を採る点に特徴がある。とくに学習を可能にした「三大発明」(ReLU などの活性化関数・スキップ接続・正規化手法)と、Transformer の中核をなす注意機構を、直感的説明と理論的説明の双方から厚く扱う。 ## 書誌情報 - 書名: ディープラーニングを支える技術 ——「正解」を導くメカニズム［技術基礎］ - 著者: 岡野原大輔([[岡野原大輔]]、[[Preferred Networks]] 代表取締役 CER) - 出版社: 株式会社技術評論社(Tech × Books plus シリーズ) - 発行: 2022 年 1 月 21 日 初版第 1 刷 - 構成: 全 5 章 + Appendix(機械学習・ディープラーニングのための数学)、本文 305 ページ - 原本: `.raw/books/deep-learning-wo-sasaeru-gijutsu/` ## 構成と主要テーマ ### 導入 — なぜディープラーニングなのか(第1章) 人工知能の歴史と計算コストの推移から、ディープラーニングが現在の中心に来た理由を説明する。 → [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 1 ディープラーニングと人工知能]] — ポランニーのパラドックスと人工知能史、計算コストの指数的成長から隆盛の背景を解説する ### 基礎 — 学習とは何か(第2〜3章) 機械学習一般の枠組みを立ててから、ニューラルネットワークという特定のモデルへ降りていく。本書の土台にあたる。 → [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 2 ［入門］機械学習]] — 学習の目的を丸暗記でなく汎化能力の獲得と定義し、問題設定の分類学と確率モデルとしての学習を導入する → [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 3 ディープラーニングの技術基礎]] — 表現学習・ニューラルネットワークの構成・誤差逆伝播法・代表的な構成要素を通しで扱う中核章 ### 発展 — なぜ学習がうまくいくのか(第4章) 著者が最も紙数を割く章。正規化層・スキップ接続・注意機構について、直感的説明と理論的説明の双方を与える。 → [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 4 ディープラーニングの発展]] — 正規化層・スキップ接続・注意機構という三大技術がなぜ学習と汎化を改善するのかを解く ### 応用(第5章) → [[@2022__Gihyo__ディープラーニングを支える技術 - Chapter 5 ディープラーニングを活用したアプリケーション]] — 画像認識(AlexNet〜SENet)・音声認識(LAS)・自然言語処理(BERT/GPT-3)の代表アーキテクチャを紹介する ### 付録 → [[@2022__Gihyo__ディープラーニングを支える技術 - Appendix A ［厳選基礎］機械学習＆ディープラーニングのための数学]] — 線形代数・微分・確率を証明抜きで厳選し、本編理解の前提知識として圧縮解説する ## 影響と位置づけ 本書は日本語で書かれたディープラーニングの技術解説書として、手法カタログではなく「なぜそれが効くのか」を説明の中心に据える構成を採る。著者自身が述べるとおり、ReLU 等の活性化関数・スキップ接続・正規化手法を「学習の三大発明」として括り、その効く理由を直感と理論の双方から説明する点が他書との差になっている。また、[[注意機構]] を Transformer の部品としてではなく「入力に応じてデータの流れ方を動的に変える仕組み」という一般的な枠組みとして扱い、記憶の 3 つの時間スケール(活性値・重み・注意による読み出し)の中に位置づける説明を与える。 wiki の側から見ると、本書は既存の論文由来 concept 群に対して**教科書側の視点**を与える横串のソースになっている。同じ対象について、論文が「その時点の制約への対処」として書いたことを、教科書は「後年の一般的手法の起点」として読み直す(例: [[AlexNet]] の GPU 分割)。この非対称は複数の concept ページの横断的知見として記録した。 ## 関連 - 著者: [[岡野原大輔]] - 組織: [[Preferred Networks]] - 中心概念: [[表現学習]] / [[誤差逆伝播法]] / [[注意機構]] / [[正規化層]] / [[残差学習]] / [[汎化能力]] ## 出典 - 岡野原大輔, 『ディープラーニングを支える技術 ——「正解」を導くメカニズム［技術基礎］』, 技術評論社, 2022.