[【AI入門】 Pytorchを用いた深層学習入門講座 【Part3】Deep Learningの数理 - YouTube](https://www.youtube.com/watch?v=XSH8ICduq1s&ab_channel=KCS%3A%3AKeioComputerSociety) - NNは入力と出力、パラメータと[[活性化関数]]から構成される - [[順伝搬]] ![[Pasted image 20221201164140.png]] - ニューラルネットワークの学習の一連の流れ ![[Pasted image 20221201164758.png]] - [[損失関数]]の計算 - 損失関数の微分 - 離散化して[[数値微分]] - 損失関数は重みwの関数$E(w)$ - 重みwでニューラルネットワーク関数f(w)を偏微分する - 合成関数の微分 - ![[Pasted image 20221201165246.png]] - [[誤差逆伝播法]] - 重みwの更新 - $\cfrac{\partial E(w)}{\partial w} = 0$を解いてwを求める - 解析的に解けないので、[[勾配降下法]]で解く - ![[Pasted image 20221201165551.png]] -