[拡散モデル - 岩波書店](https://www.iwanami.co.jp/book/b619864.html) > テキストに対応する画像を生成する――従来は困難であった高次元のデータを創り出す生成モデルの技術が注目されている。現在、最高の性能を発揮し、画像・動画・音声・化合物の生成など、多様な応用が期待されているのが拡散モデルである。その数理の心から課題までを世界に先駆けて解説し、理論のさらなる発展を追究する。 試し読み：[https://www.iwanami.co.jp/moreinfo/tachiyomi/0063430.pdf](https://www.iwanami.co.jp/moreinfo/tachiyomi/0063430.pdf) ## 目次 1 [[生成モデル]] 　1 生成モデルとは何か 　2 エネルギーベースモデル・分配関数 　3 学習手法 　4 高次元で多峰性のあるデータ生成の難しさ 　5 スコア：対数尤度の入力についての勾配 　　5.1 ランジュバン・モンテカルロ法 　　5.2 スコアマッチング 　　5.3 暗黙的スコアマッチング 　　5.4 暗黙的スコアマッチングがスコアを推定できることの証明 　　5.5 デノイジングスコアマッチング 　　5.6 デノイジングスコアマッチングがスコアを推定できることの証明 　　5.7 ノイズが[[正規分布]]に従う場合の証明 　　5.8 スコアマッチング手法のまとめ 　第1章のまとめ 2 拡散モデル 　2. 1 スコアベースモデルとデノイジング拡散確率モデル 　2. 2 スコアベースモデル 　　2. 2. 1 推定したスコアを使ったランジュバン・モンテカルロ法の問題点 　　2. 2. 2 スコアベースモデルは複数の攪乱後分布のスコアを組み合わせる 　2. 3 デノイジング拡散確率モデル 　　2. 3. 1 拡散過程と逆拡散過程からなる潜在変数モデル 　　　任意時刻の拡散条件付確率の証明 　　　DDPMは生成過程の一部分を抜き出して学習できる 　　2. 3. 2 DDPMの学習 　　　式（2. 4）q(x_t−1|x_t, x_0)の証明 　　2. 3. 3 DDPMからデノイジングスコアマッチングへ 　　2. 3. 4 DDPMを使ったデータ生成 　2. 4 SBMとDDPMのシグナルノイズ比を使った統一的な枠組み 　　2. 4. 1 SBMとDDPMの関係 　　　式（2. 9）q(x_t|x_s)の平均と分散の証明 　　　目的関数はシグナルノイズ比によって表される 　　2. 4. 2 連続時間モデル 　　2. 4. 3 ノイズスケジュールによらず同じ解が得られる 　　2. 4. 4 学習可能なノイズスケジュール 　第2章のまとめ 3 連続時間化拡散モデル 　3. 1 確率微分方程式 　3. 2 SBMとDDPMのSDE表現 　3. 3 SDE表現の逆拡散過程 　3. 4 SDE表現の拡散モデルの学習 　3. 5 SDE表現の拡散モデルのサンプリング 　3. 6 確率フローODE 　　3. 6. 1 確率フローODEとSDEの周辺尤度が一致する証明 　　3. 6. 2 確率フローODE の尤度計算 　　3. 6. 3 シグナルとノイズで表される確率フローODE 　3. 7 拡散モデルの特徴 　　3. 7. 1 従来の潜在変数モデルとの関係 　　3. 7. 2 拡散モデルは学習が安定している 　　3. 7. 3 複雑な生成問題を簡単な部分生成問題に分解する 　　3. 7. 4 様々な条件付けを組み合わせることができる 　　3. 7. 5 生成における対称性を自然に組み込むことができる 　　3. 7. 6 サンプリング時のステップ数が多く生成が遅い 　　3. 7. 7 拡散モデルでなぜ汎化できるかの仕組みの理解が未解決 　第3章のまとめ 4 拡散モデルの発展 　4. 1 条件付き生成におけるスコア 　4. 2 分類器ガイダンス 　4. 3 分類器無しガイダンス 　4. 4 部分空間拡散モデル 　　4. 4. 1 部分空間拡散モデルの学習 　　4. 4. 2 部分空間拡散モデルのサンプリング 　4. 5 対称性を考慮した拡散モデル 　　4. 5. 1 幾何と対称性 　　4. 5. 2 化合物配座 　　　拡散モデルを使った対称性を備えた生成 　　　確率密度がSE(3)不変となることの証明 　　　SE(3)同変を達成するネットワーク 　第4章のまとめ 5 アプリケーション 　1 画像生成・超解像・補完・画像変換 　2 動画・パノラマ生成 　3 意味の抽出と変換 　4 音声の合成と強調 　5 化合物の生成と配座 　6 敵対的摂動に対する頑健性向上 　7 データ圧縮 　第5章のまとめ 　付　録 　　A. 1 事前分布が正規分布、尤度が線形の正規分布の場合の事後確率分布 　　A. 2 ELBO 　　A. 3 シグナルとノイズを使った確率フローODEの導出 　　A. 4 条件付き生成問題 　　A. 5 デノイジング暗黙的拡散モデル 　　A. 6 逆拡散過程の確率微分方程式の証明 　　A. 7 非ガウシアンノイズによる拡散モデル 　　A. 8 Analog Bits：離散変数の拡散モデル