# ガウス分布の閉性 ## 定義 ガウス分布の閉性(closure property)とは、多変量ガウス分布に対して周辺化・条件付け・線形変換・独立な和・密度の積という操作を行っても、その結果が再びガウス分布になるという性質を指す。 同時ガウス分布 $p(x,y)=\mathcal{N}\!\left(\begin{bmatrix}\mu_x\\\mu_y\end{bmatrix},\begin{bmatrix}\Sigma_{xx}&\Sigma_{xy}\\\Sigma_{yx}&\Sigma_{yy}\end{bmatrix}\right)$ が与えられたとき、周辺分布は $p(x)=\mathcal{N}(x\mid\mu_x,\Sigma_{xx})$、条件付き分布は $p(x\mid y)=\mathcal{N}(\mu_{x\mid y},\Sigma_{x\mid y})$($\mu_{x\mid y}=\mu_x+\Sigma_{xy}\Sigma_{yy}^{-1}(y-\mu_y)$、$\Sigma_{x\mid y}=\Sigma_{xx}-\Sigma_{xy}\Sigma_{yy}^{-1}\Sigma_{yx}$)という、いずれも閉形式のガウス分布として得られる。同様に、2つのガウス密度の積は(正規化されていない)ガウス密度になり、独立なガウス確率変数の和や、ガウス確率変数のアフィン変換もガウス分布になる。共分散行列が正定値であることが前提とされる。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] §6.5.1-§6.5.3) ## 横断的知見 - **ESL第8章のB-spline平滑化例(§8.3)は、この閉性を「具体例からの発見」として示すのに対し、MML第6章は「一般公式からの演繹」として示す**: ESL第8章は、ガウス事前分布 $\beta\sim N(0,\tau\Sigma)$ とガウス尤度(誤差 $\varepsilon\sim N(0,\sigma^2)$)から、関数 $\mu(x)$ の事後分布が式8.27-8.28のガウス分布になることを、その平滑化問題に固有の式変形を通じて個別に示す。MML第6章はこれと同じ現象——ガウス尤度に対してガウス事前分布が共役である(Table 6.2)——を、2つのガウス密度の積が定数倍されたガウス密度になるという一般公式(式6.74-6.76)から導く。同じ数学的事実に、応用書は具体例の計算として、数学書は一般定理の系として到達しており、両者を突き合わせて初めて「ESLの式8.27-8.28はMMLの式6.74-6.76の特殊ケースである」という対応が見える。(Source: [[@2009__Springer__The Elements of Statistical Learning - Chapter 8 Model Inference and Averaging]] §8.3, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] §6.5.2, Table 6.2) - **混合ガウス分布は閉性が破れる具体例であり、その非閉性が閉形式の最尤推定を不可能にする**: MML第6章は混合ガウス分布(2つ以上のガウス密度の重み付き和、Theorem 6.12)が一般にはガウス分布そのものにならないことを述べるにとどまるが、[[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models|MML第11章]]はこの非閉性が具体的に何を引き起こすかを示す: 混合ガウスモデルの対数尤度$\log\sum_k\pi_k\mathcal N(x_n\mid\mu_k,\Sigma_k)$は、対数の中に和が残る(閉性が成り立てば和を1つのガウス分布の対数に潰せるはずだが、混合分布はガウス分布でないためそれができない)。この構造ゆえに勾配を0とおいても閉形式解が得られず、[[EMアルゴリズム|EMアルゴリズム]]による反復解法が必要になる。すなわち第11章は、第6章が定義だけ示した「混合ガウス分布での閉性の喪失」を、最尤推定が閉形式で解けなくなるという具体的な計算上の帰結として引き受けている。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] §6.5(Theorem 6.12), [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] §11.2) ## 未解決の問い - ガウス分布の閉性は共分散行列が正定値であることを前提とする(MML第6章はこの仮定を明示的に置き、半正定値・低ランクの縮退したガウス分布は本書の範囲外としている)。低ランク共分散を持つ縮退したガウス分布でも、周辺化・条件付けの閉性は成り立つか。成り立つ場合、どのような追加の注意(擬似逆行列の使用等)が必要か。 ## 関連 - ソース: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] / [[@2009__Springer__The Elements of Statistical Learning - Chapter 8 Model Inference and Averaging]] / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 11 Density Estimation with Gaussian Mixture Models]] - 概念: [[共役事前分布]](ガウス分布がガウス尤度に対して自分自身の共役事前分布になる特殊ケース) / [[ベイズ推定]](事後分布の閉形式計算という応用文脈) / [[混合ガウスモデル]](閉性が破れる代表例、EMアルゴリズムによる反復解法) ## 出典 - Deisenroth, Faisal, Ong, *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 6, §6.5; Chapter 11, §11.2. - Hastie, T., Tibshirani, R., Friedman, J., *The Elements of Statistical Learning*, 2nd Edition, Springer, 2009, Chapter 8, §8.3.