## 論文 - [[2018__NeurIPS__Neural Ordinary Differential Equations]] - 最初にNeural ODEが提案された論文。 - NeurIPSの2018 best paper ## コード - [GitHub - rtqichen/torchdiffeq: Differentiable ODE solvers with full GPU support and O(1)-memory backpropagation.](https://github.com/rtqichen/torchdiffeq) ## 解説動画 [\#.04 【 NeurIPS 2018 Best Paper 】Neural Ordinary Differential Equations【VRアカデミア論文解説リレー】 \#VRアカデミア \#029 - YouTube](https://www.youtube.com/watch?v=qjS6Zun6Z24) - NNの各層のForward PropgationとBack Propagationを1個1個計算するのではなく、微分方程式で計算する - NNの層を離散ではなく連続的に扱う - メモリ効率性がよい - 普通は層の数を増やすけど、ODEだと層の数を増やしても意味ない - BPの中間層を覚えるときに層を使う - 行きも帰りも微分方程式を解くだけ - 最近の微分方程式のソルバーは、精度と実行速度のトレードオフを調整可能 - 層の数を調整しなくてよい - パラメータの数は少なくなる - 層が連続化しているので、全ての層でパラメータが共通化される - ResNetより3倍効率 - ネットワークの表現力は落ちていない - 連続時系列データモデル - 連続時間を用いるモデルを利用可能 - 欠損ありの時系列データにも適用可能 - どう補間するかが一冊の本とかに - 確率微分方程式で、間隔が違うとかなり困る - 予測タスク & 外層（そのさきどうなるか） - RNN - Latent Neural ODE - アトラクタの軌跡