## 定義 混合ガウスモデル(Gaussian mixture model, GMM)は、$K$個のガウス分布の凸結合として密度$p(x)$を表現する密度モデルである。 $p(x\mid\theta)=\sum_{k=1}^K\pi_k\mathcal N(x\mid\mu_k,\Sigma_k),\qquad 0\le\pi_k\le1,\quad\sum_{k=1}^K\pi_k=1$ $\theta:=\{\mu_k,\Sigma_k,\pi_k:k=1,\ldots,K\}$がモデルの全パラメータであり、$\pi_k$は混合重み(mixture weight)と呼ばれる。$K=1$のとき単一のガウス分布に帰着する。より一般の**混合モデル(mixture model)**$p(x)=\sum_k\pi_kp_k(x)$の基底分布$p_k$をガウス分布に限定した特殊ケースであり、単一のガウス分布よりも表現力が高く多峰性(multimodal)のデータを記述できる。 GMMのパラメータ$\theta$の最尤推定は、対数尤度$\log p(X\mid\theta)=\sum_n\log\sum_k\pi_k\mathcal N(x_n\mid\mu_k,\Sigma_k)$の対数の中に$k$についての和が現れるため閉形式解を持たない。かわりに、第$k$成分が第$n$番目のデータ点を生成した事後確率である**責任度(responsibility)**$r_{nk}=\pi_k\mathcal N(x_n\mid\mu_k,\Sigma_k)/\sum_j\pi_j\mathcal N(x_n\mid\mu_j,\Sigma_j)$を介した反復更新式(EMアルゴリズム)を用いる。GMMは、二値のone-hot潜在変数$z\in\{0,1\}^K$を持つ離散潜在変数モデルとしても等価に定式化でき、この視点のもとで責任度はベイズの定理から導かれる事後確率$p(z_k=1\mid x)$として正当化される。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] §11.1-§11.2, §11.4) ## 横断的知見 - **本書内で、GMMの離散潜在変数はPCA(第10章)の連続潜在変数と明示的に対比される**: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] §11.4は「GMMは離散潜在変数モデルとして見ることができ、これは潜在変数が$\mathbb R^M$の連続値であった[[@2020__Cambridge__Mathematics for Machine Learning - Chapter 10 Dimensionality Reduction with Principal Component Analysis|第10章のPCA]]とは対照的である」と本文中で直接に言及する。両章はともに第8章§8.4.3が導入する潜在変数モデルの枠組みの具体化であり、「潜在変数が離散か連続か」という一つの軸で、密度推定(GMM)と次元削減(PCA)という一見異なる2つの機械学習の中心問題が統一的に位置づけられる。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] §11.4.1, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.4.3) ## 未解決の問い - GMMの尤度は、ある成分の平均が1つのデータ点と一致し共分散が0に収縮すると無限大に発散する縮退解を持つ(過学習の一形態)。本章はこの問題を指摘するのみで、実務的な回避策(共分散の下限設定、事前分布の付与など)や、ベイズ的なGMM(共役事前分布が存在しないため変分推論などの近似が必要)の具体的な手続きには踏み込んでいない。[[変分ベイズニューラルネットワーク]]の近似推論の議論と接続できるか未確認。 - 混合成分数$K$を自動的に選ぶ具体的な手続き(第8章§8.6.1の入れ子の交差検証、あるいはBIC等の情報量規準)は本章では触れられるのみで詳細な手順は示されない。GMMのモデル選択とベイズモデル選択(周辺尤度/エビデンス、第8章§8.6.2)の対応は今後の突き合わせで明らかにする必要がある。 - GMMとK-means法の関係(共分散を単位行列に固定し責任度をハードな割当に置き換えるとK-meansに帰着する)は本章§11.5で簡潔に述べられるのみである。[[クラスタリング]]・[[EMアルゴリズム]]で蓄積されているK-meansとの対比の知見と、本ページの記述との整合を今後確認する。 ## 関連 - source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] - concept: [[EMアルゴリズム]](GMMの最尤推定を解く反復アルゴリズム) / [[ガウス分布の閉性]](混合ガウス分布はガウス分布の閉性が破れる代表例) / [[カーネル密度推定]](GMMと並ぶ密度推定の手法、ノンパラメトリック) / [[クラスタリング]](K-meansとの関係) ## 出典 - Deisenroth, Faisal, Ong, *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 11, §11.1-§11.2, §11.4-§11.5.