[Mutual information - Wikipedia](https://en.wikipedia.org/wiki/Mutual_information) 2つの[[確率変数]]の相互情報量（MI）は、2つの変数の相互依存性を表す指標である。具体的には、一方の確率変数を観測することによって得られる、もう一方の確率変数に関する「[[情報量]]」（単位：シャノン（ビット）、ナット、ハートリーなど）を定量化したものである。相互情報量の概念は、情報理論の基本的な概念である確率変数のエントロピーと密接に関連しており、確率変数に含まれる期待される「[[情報量]]」を定量化する。 - [[クロード・シャノン]]が彼の画期的な論文 "A Mathematical Theory of Communication "の中で定義し、分析したものである - こ後にロバート・ファノによって作られたものである[2]。 (1957) ## 定義 $ I(X;Y)=\sum _{{y\in Y}}\sum _{{x\in X}}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}},\! $ ここで、$p(x,y)$ は $X$ と $Y$ の[[同時分布]]関数、$p(x)$と $p(y)$はそれぞれ$X$と$Y$の[[周辺分布]]関数である。 - 直観的には、相互情報量は$X$と$Y$が共有する情報量の尺度 - 一方の変数を知ることでもう一方をどれだけ推測できるようになるかを示す - [[ピアソン相関係数]]よりも非線形依存性を捉えられる