# 共役事前分布 ## 定義 ベイズの定理 $p(x\mid y)\propto p(y\mid x)p(x)$ において、事後分布 $p(x\mid y)$ が事前分布 $p(x)$ と同じ関数形(同じ分布族)になるとき、その事前分布 $p(x)$ は尤度 $p(y\mid x)$ に対して**共役(conjugate)**であるという(Definition 6.13)。共役性が実務的に重要なのは、事後分布を積分計算なしに、事前分布のパラメータを代数的に更新するだけで求められる点にある。代表的な共役対として、ベルヌーイ/二項尤度に対するベータ事前分布(事後分布は $\mathrm{Beta}(h+\alpha,N-h+\beta)$、Example 6.11-6.12)、ガウス尤度に対するガウス/逆ガンマ(単変量)・ガウス/逆ウィシャート(多変量)事前分布、多項尤度に対するディリクレ事前分布がある(Table 6.2)。指数型分布族に属する尤度は、式6.120の一般形から共役事前分布を系統的に導出できることが保証されている。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] §6.6.1, §6.6.3) ## 横断的知見 - **SLO第9章のベータ二項共役は、MML第6章が一般論として定式化する共役性(Table 6.2)の具体例である**: SLO第9章は、サービスの稼働率という二項尤度に対してベータ分布を事前分布に選び、観測データ(成功/失敗の回数)から事後分布のパラメータを更新するという手続きを、SREの実務手順として天下り的に示す。MML第6章はこれと数学的に同一の操作(Example 6.11: 二項尤度×ベータ事前分布→ベータ事後分布)を、ベイズの定理と事前分布・尤度・事後分布という一般的な語彙のもとで導出し、なぜこの組み合わせが「代数的更新だけで済む」のかという理由(共役性の定義そのもの)を明示する。応用書が使う計算手順に、数学書が形式的な根拠と一般化可能性を与えるという非対称な関係である。(Source: [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] §9.2.2, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] §6.6.1, Table 6.2) - **[[ベイズ推定]] concept が未解決の問いとして残していた「事後分布の正規化定数(エビデンス) $P(E)=\int P(E\mid p)P(p)\,dp$ は一般には解析的に求まらない」という問題に、共役事前分布はMCMCとは異なるもう一つの部分的な回答を与える**: 尤度が指数型分布族に属し、共役な事前分布を選べば、正規化定数を積分計算なしにパラメータの代数的更新だけで求められる(SLOのベータ二項共役はこの具体例)。ただしこれは共役な組み合わせが存在する尤度族(指数型分布族)に限られた解であり、任意の尤度に対する一般解ではない点で、MCMCによる回避策と同様「特定の条件下での部分解」にとどまる。(Source: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] §6.6.1, §6.6.3, [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] §9.2.2) - **[[統計的機械学習]] concept が扱う「ガウス事前分布→MAP推定→リッジ回帰」という対応は、共役性の観点から見るとガウス尤度に対するガウス事前分布の共役性(Table 6.2)の特殊ケースである**: 統計的機械学習 concept はこの対応をMAP推定(事後分布の最頻値)の文脈で導入し、正則化の強さの選択問題として位置づけるが、事後分布そのものがガウス分布になる(=共役性が成り立つ)という点までは踏み込まない。MML第6章はこの共役性を一般的な定理として与え、リッジ回帰のベイズ的解釈が「MAP推定」だけでなく「事後分布全体がガウス分布として閉形式で得られる」というより強い主張を含意することを明らかにする。(Source: [[統計的機械学習]] §4.1 相当箇所, [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] §6.6.1, Table 6.2) ## 未解決の問い - 共役事前分布が存在しない尤度族(指数型分布族の枠外にある尤度、たとえば複雑な混合モデルや非線形な観測モデル)に対して、実務ではどのような代替戦略(MCMC、変分近似、非共役だが解析的に扱いやすい近似族)が使われるか。MML第6章の範囲外。 - 事前分布の「共役性」という数学的な扱いやすさと、事前分布が実際にドメイン知識を的確に表現しているかという「妥当性」は独立の軸である。SLO第9章は事前分布への確信が強すぎるとシステムダウンの検知が遅れると警告するが(§9.2.2.3)、共役性を優先して事前分布の関数形(ベータ分布等)を選ぶことが、この妥当性とどうトレードオフになるかは、本ページの現時点のソースでは検討されていない。 ## 関連 - ソース: [[@2020__Cambridge__Mathematics for Machine Learning - Chapter 6 Probability and Distributions]] / [[@2023__OReillyJapan__SLO サービスレベル目標 - Chapter 9 SLIとSLOの確率と統計]] - 概念: [[ベイズ推定]](事後分布計算の応用文脈、正規化定数の問題) / [[統計的機械学習]](MAP推定と正則化回帰の数学的対応) / [[ガウス分布の閉性]](ガウス-ガウス共役という特殊ケース) ## 出典 - Deisenroth, Faisal, Ong, *Mathematics for Machine Learning*, Cambridge University Press, 2020, Chapter 6, §6.6. - Alex Hidalgo(編), Toby Burress・Jaime Woo(著), 『SLO サービスレベル目標』, オライリー・ジャパン, 2023, 9 章, §9.2.2。