ベイズ線形回帰 - yuuk1's Digital Garden

# ベイズ線形回帰 ## 定義ベイズ線形回帰(Bayesian linear regression)とは、線形回帰モデル$y=\varphi^\top(x)\theta+\epsilon$、$\epsilon\sim\mathcal N(0,\sigma^2)$のパラメータ$\theta$に事前分布$p(\theta)=\mathcal N(m_0,S_0)$を置き、最尤推定・MAP推定のように単一の点推定$\theta^*$を求めるのではなく、訓練データ$X,Y$を観測したあとの事後分布$p(\theta\mid X,Y)$そのものを求め、予測時にはこの事後分布全体で平均をとる回帰手法である。共役なガウス事前分布とガウス尤度の組み合わせにより、事後分布$\mathcal N(\theta\mid m_N,S_N)$・予測分布・エビデンス(周辺尤度)のすべてが閉形式で計算できる。パラメータの分布は、パラメータをサンプルするたびに1つの関数$\theta_i^\top\varphi(\cdot)$を生成するため、暗黙に「関数上の分布」を誘導する。MAP推定値$\theta_{MAP}$はベイズ事後分布の平均$m_N$に厳密に一致するが、ベイズ線形回帰はそれに加えて事後分散$S_N$を保持し、予測の不確実性(パラメータの不確実性+観測ノイズ$\sigma^2$)を定量化できる点で点推定と異なる。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]] §9.3.1-§9.3.4, 定理9.1) ## 横断的知見 - **第8章が一般論として述べた「ベイズ推論は共役事前分布でない限り解析的に解けない」という制約に対し、第9章はガウス尤度×ガウス事前分布という共役な組み合わせが実際に閉形式を持つことを、事後分布(定理9.1)・予測分布(式9.57)・エビデンス(式9.64)の3段階すべてで具体的に示す**: 第8章§8.4.2は「点推定(最尤推定・MAP推定)は最適化問題であるのに対し、ベイズ推論は積分問題であり、共役事前分布を選ばない限り解析的に解けず近似手法(MCMC・変分推論)が必要になる」と一般的な制約を述べるにとどまる。第9章は、この「共役事前分布を選ぶ」という条件が線形回帰+ガウスノイズ+ガウス事前分布という具体的な設定でどのように成立するかを、完全な導出(平方完成による事後分布の導出、アフィン変換の性質による予測分布・エビデンスの導出)とともに示す。すなわち第8章の抽象的な警告に対し、第9章はその警告が要求する「共役性」を満たす最も基本的な具体例を提供する関係にある。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]] §8.4.2, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]] §9.3.3, §9.3.5) - **[[ベイズ推定]]概念が既に確立した「MLE→MAP→ベイズ推定という3段階の一般構造」を、本概念は線形回帰という具体例で式レベルまで裏づける**: [[ベイズ推定]]は応用文脈(SLIの信頼性推定、統計モデル一般)でMLE・MAP・ベイズ推定の関係を定性的に整理していたが、本概念はその同じ3段階を線形回帰の閉形式($\theta_{ML}=(\Phi^\top\Phi)^{-1}\Phi^\top y$ → $\theta_{MAP}=(\Phi^\top\Phi+\frac{\sigma^2}{b^2}I)^{-1}\Phi^\top y$ → $p(\theta\mid X,Y)=\mathcal N(m_N,S_N)$、かつ$\theta_{MAP}=m_N$)として具体的に確認できる場を提供する。(Source: [[ベイズ推定]], [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]] §9.2.1, §9.2.3, §9.3.3) ## 未解決の問い - 本書は共役ガウス事前分布の場合のみを扱う。事前分布が非ガウス(例: LASSOに対応するラプラス事前分布)の場合、ベイズ線形回帰の事後分布はもはや閉形式を持たない。この場合の近似推論(MCMC・変分推論)は具体的にどう構成されるか(第8章§8.4.2が一般論として触れるのみで、本章の範囲外)。 - ガウス過程(第9.5節でMLE解の幾何的解釈と対比して紹介される)は、パラメータではなく関数空間に直接分布を置く。ベイズ線形回帰の「パラメータ分布が関数上の分布を誘導する」という構造と、ガウス過程の「関数上に直接分布を置く」構造は、カーネルトリックを通じてどこまで数学的に同一視できるか。 - エビデンス(周辺尤度)によるモデル選択(第8章§8.6.2のオッカムの剃刀の議論)は、多項式の次数選択という具体例で、第9章§9.2.2の交差検証ベースのモデル選択(テスト誤差の最小点探索)とどの程度一致する結果を与えるか。本章はエビデンスの閉形式を導出するのみで、実際に次数選択に適用した数値比較は行っていない。 ## 関連 - source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 9 Linear Regression]] / [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 8 When Models Meet Data]](ベイズ推論の一般論) - concept: [[ベイズ推定]](MLE/MAP/ベイズ推定の一般構造) / [[直交射影]](同じ章の§9.4がMLE解に与える幾何的解釈) / [[統計的機械学習]](正則化=事前分布という対応) / [[共役事前分布]] ## 出典 - Deisenroth, Faisal, Ong, *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 9, §9.3.