確率変数 - yuuk1's Digital Garden

# 確率変数 Navigation: [[index]] | [[overview]] ## 定義確率変数(random variable)とは、確率空間([[確率空間]]を参照)の標本空間を定義域とする全域関数である。値域は何でもよいが、通常は実数の部分集合とする。名前に反して確率変数自体はランダムな量ではなく、標本空間の各結果(outcome)に1つの値を対応付ける、ふつうの意味での関数にすぎない。例えば3枚の独立で偏りのないコインを投げる実験で、表の枚数を返す関数 C や、3枚とも同じ面が出たかどうかを返す関数 M は、いずれも標本空間 S = {HHH, HHT, ..., TTT} 上の確率変数である。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.1) **指示確率変数(indicator random variable)**は値域が {0,1} の確率変数で、ベルヌーイ変数(Bernoulli variable)とも呼ばれる。指示確率変数は標本空間を「1に写る結果の集合」と「0に写る結果の集合」の2ブロックに分割する点で事象と密接に対応し、任意の事象 E に対して I_E(ω) := (ω∈E なら1、そうでなければ0) という指示確率変数を定義できる。逆に、2つの事象の独立性は、それぞれの指示確率変数の独立性と同値である。より一般に、複数の値を取る確率変数は標本空間を値の個数だけのブロックに分割し、「確率変数が値 x を取る」という言明はそれ自体が事象 [R=x] を定義する。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.1.1-§18.1.2) 確率変数の**独立性**は事象の独立性([[独立性]]を参照)の自然な拡張である。確率変数 R1, R2 が独立であるとは、あらゆる値の組 x1, x2 について事象 [R1=x1] と [R2=x2] が独立であることをいう。3個以上の確率変数 R1,...,Rn が相互独立(mutually independent)であるとは、あらゆる値の組 x1,...,xn について n 個の事象 [R1=x1],...,[Rn=xn] が相互独立であることをいい、k個ずつの部分集合が相互独立であることを k-独立(k-way independent)という。独立な確率変数の(値域を定義域とする)関数どうしもまた独立である(R, S が独立で f, g がそれぞれ R, S の値域上の関数なら f(R), g(S) も独立)。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.2) 確率変数 R の**確率密度関数(probability density function, pdf)** PDF_R: V→[0,1] は PDF_R(x) := Pr[R=x](x が値域に属するとき)、0(それ以外)と定義される。値域が実数の部分集合であれば、**累積分布関数(cumulative distribution function, cdf)** CDF_R: R→[0,1] は CDF_R(x) := Pr[R≤x] と定義される。pdf と cdf はいずれも確率変数がどの標本空間・確率空間の上に定義されているかに依存せず、値域上の確率分布だけで決まる。このため異なる確率空間上の異なる確率変数が、同じ pdf(あるいは cdf)を共有することは珍しくない。ベルヌーイ分布(pdfが f_p(0)=p, f_p(1)=1-p)、一様分布(値域の各要素を等確率で取る)、二項分布([[二項分布]]を参照)は、この意味で計算機科学において特に頻出する「名前の付いた」分布である。値が Z⁺ 上にあり Pr[C=i]=(1-p)^{i-1}p となる分布は幾何分布(geometric distribution)と呼ばれ、独立に確率 p で毎ステップ失敗する系の「最初の失敗までのステップ数」の分布として現れる。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.3, §18.4.6) ## 横断的知見 - 第16章が確率空間・標本空間を「確率の対象」として定式化したのに対し、第18章の確率変数はその標本空間の**上に構築される関数**という一段抽象度の高い対象である。第16-17章では「事象の確率」を直接問うていたが、第18章以降は「確率変数がどの値を取るか」を問う形に議論の単位が移り、事象は確率変数への言明([R=x] など)を通じて副次的に定義される対象になる。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 16 Events and Probability Spaces]], [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.1) - 確率変数の独立性の定義(§18.2)は、事象の独立性(第17章 §17.7-§17.8)の定義をそのまま「[R=x] という形の事象の族」に適用したものであり、新しい概念ではなく既存の独立性概念の言い換えである。第17章の補題(対独立性は相互独立性より真に弱い、独立性は仮定であり導出される性質ではない等)はすべて確率変数の独立性にもそのまま引き継がれる。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.7-§17.8, [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.2) - 第18章の pdf は確率変数の分布そのものを記述する道具だったが、第19章はこの分布の「広がり」を[[分散]]という単一のスカラーへ要約し、[[集中不等式]](マルコフの不等式・チェビシェフの不等式・チェルノフ限界)を通じて裾確率を評価する道具に転用する。第18章で導入された相互独立性より弱い**対独立性**という概念(§18.2)は、第19章では単なる定義上の一般化にとどまらず、分散の加法性(Var[ΣRi]=ΣVar[Ri])が成り立つための必要十分に近い条件として実質的な役割を持つようになる(誕生日マッチング問題の Ei,j が好例)。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.2-§18.3, [[@2015__MIT__Mathematics for Computer Science - Chapter 19 Deviation from the Mean]] §19.3.4, §19.4.2) - **連続分布の代表格「正規分布」が、離散数学(MCS)とは異なる系統のソースから届いた**: MCS(第18-19章)は離散数学の教科書であるため幾何分布・二項分布のような離散分布しか扱わず、連続分布との対比は本書の未解決の問いとして残されていた。Jain(第12章)は逆に計算機性能解析の実務書として連続確率変数を前提に、正規分布N(µ,σ)のpdfを2母数(平均・標準偏差)で定義し、(a)独立な正規変量の和が正規分布に従う線形性、(b)任意の分布からの多数の独立観測の和が正規分布に近づく中心極限定理、という2つの性質から正規分布の重要性を説明する。MCSのpdf/cdfの定義(値域上の確率分布のみに依存し、標本空間によらない)はそのままJainのpdf/CDFの定義と整合し、離散(MCS)から連続(Jain)への橋渡しが可能であることを示す。ただし幾何分布と指数分布(その連続版)の直接の対応関係は、Jain第12章でも明示的には述べられていない。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.3, [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 12 Summarizing Measured Data]] §12.1) ## 未解決の問い - 幾何分布と指数分布(その連続版)の直接の対応関係、および両者を統一的に扱う枠組みは、MCS(離散数学)・Jain(性能解析の実務書、正規分布のみ導入)のいずれにも明示的には述べられておらず、依然として別ソース待ちである。 - k-独立な確率変数(特に対独立性)がハッシュ関数の設計に使われることは、第17章の独立性ページで既に指摘した未解決の問いだが、確率変数の文脈でも同様に本章の範囲では扱われていない。 ## 関連 - source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] / [[@2015__MIT__Mathematics for Computer Science - Chapter 19 Deviation from the Mean]] / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 12 Summarizing Measured Data]] - 概念: [[確率空間]](確率変数はこの上に定義される関数)、[[独立性]](確率変数の独立性は事象の独立性の直接の拡張)、[[期待値]](確率変数に対して定義される代表的な統計量)、[[二項分布]](確率変数の分布の代表例)、[[四段階法]](確率変数が関わる問題にも同じ手続きが適用できる)、[[分散]](確率変数の分布の広がりを要約する統計量)、[[集中不等式]](確率変数が期待値から乖離する確率を評価する道具)、[[要約統計量の選定]](確率変数のpdf/CDF/分位点を測定データの実務的な要約に応用する規則) ## 出典 - Eric Lehman, F. Thomson Leighton, Albert R. Meyer, *Mathematics for Computer Science*, revised 2015-05-18, Chapter 18 §18.1-§18.4, Chapter 19 §19.3.4, §19.4.2. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 12 §12.1(正規分布の導入、pdf/CDFの実務的定義)。