# 独立性 Navigation: [[index]] | [[overview]] ## 定義 事象 A が事象 B から独立(independent)であるとは、Pr[B] ≠ 0 のとき Pr[A | B] = Pr[A] が成り立つことをいう(確率0の事象はすべての事象から独立であると定義する)。すなわち、B が起きたという情報が A の確率を変えないことを意味する。この定義は次の同値な形に書き換えられる。 Pr[A ∩ B] = Pr[A] · Pr[B] この形からは、A が B から独立であることと B が A から独立であることが同値である(独立性の対称性)ことが直ちにわかる。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.7) 独立性は数学的に導かれる性質ではなく、多くの場合、現象をモデル化する際の**仮定**である。2枚のフェアコインを離れた場所で投げる実験では独立性の仮定は妥当だが、「正午から真夜中まで毎時10%の降水確率」から「1日を通して雨が降らない確率が0.9^12」と結論するのは誤りうる。実際には直前の時間帯の天候が次の時間帯の天候に強く影響するため、独立性の仮定が崩れる。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.7.2) 互いに素な事象(disjoint events)は独立とは限らない。むしろ逆で、A ∩ B = ∅ ならば A が起きたことを知れば B が起きていないことがわかるため、確率0でない限り互いに素な事象は独立にならない。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.7) 3個以上の事象の場合、**相互独立性(mutual independence)**は「2個以上の任意の部分選択について、それらすべてが同時に起こる確率が個々の確率の積に等しい」ことを要求する。例えば4事象 E1, E2, E3, E4 が相互独立であるためには、2個の組み合わせ(6通り)・3個の組み合わせ(4通り)・4個の組み合わせ(1通り)、合計11通りの等式がすべて成り立つ必要がある。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.8) 事象の集合が k-独立(k-way independent)であるとは、そのうち任意の k 個の部分集合が相互独立であることをいう。特に2-独立性を**対独立性(pairwise independence)**と呼ぶ。対独立性は相互独立性よりも真に弱い性質である。3枚の独立なコインを投げ、A1 := (コイン1と2が一致)、A2 := (コイン2と3が一致)、A3 := (コイン3と1が一致)と定義すると、A1, A2, A3 は対ごとには独立だが(任意の2つを取ると Pr[Ai ∩ Aj] = Pr[Ai]·Pr[Aj] = 1/4 が成り立つ)、3つ同時には独立ではない(Pr[A1∩A2∩A3] = 1/4 ≠ 1/8 = Pr[A1]·Pr[A2]·Pr[A3])。これは、A1 と A2 が両方成立すれば自動的に A3 も成立するという決定論的な関係が3事象間にあるためである。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.8.2) O.J.シンプソン裁判のDNA鑑定は、独立性の仮定の強さが結論を左右する実例として本章で扱われる。5個の遺伝マーカーがそれぞれ確率 1/100, 1/50, 1/40, 1/5, 1/170 で出現するとして、相互独立性を仮定するとランダムな人物が全マーカーを持つ確率は約1/170,000,000まで下がるが、対独立性しか仮定できない場合に導ける上界は、最も稀な2マーカー(1/100 と 1/170)の積である約1/17,000にとどまる。独立性の仮定を強くするほど確率の上界は小さくなるため、どの独立性の強さを仮定してよいかの判断が結論を大きく左右する。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.8.1–§17.8.2) ## 横断的知見 - 第18章は事象の独立性(本章)を確率変数へそのまま拡張する。確率変数 R1, R2 が独立であるとは、あらゆる値の組 x1, x2 について事象 [R1=x1] と [R2=x2] が独立であることをいい、3個以上の確率変数への相互独立性・k-独立性も本章の定義をそのまま踏襲する。新しい数学的内容が加わるわけではなく、「[R=x] という形の事象の族」に本章の独立性の定義を適用しているにすぎない。対独立性が相互独立性より真に弱いこと、独立性が数学的に導かれる性質ではなくモデル化上の仮定であることなど、本章で確認した性質はすべて確率変数の独立性にも引き継がれる。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] §17.7-§17.8, [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.2) - 第18章はさらに、独立性が「関数を通しても保存される」性質であることを示す(補題18.2.2: R, S が独立で f, g がそれぞれの値域上の関数なら f(R), g(S) も独立)。事象の独立性(本章)にはこれに対応する明示的な補題はなく、確率変数という関数の構造を導入して初めて自然に述べられる性質である。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] §18.2) ## 未解決の問い - k-独立性(特に対独立性)は乱択アルゴリズムのハッシュ関数設計で重要な役割を持つことが知られるが、本章・第18章ともにその応用には触れていない。 - 期待値の線形性(第18章 §18.5)は確率変数間の独立性を一切要求しないが、期待値の**積**(Ex[R1·R2]=Ex[R1]·Ex[R2])や分散の加法性は独立性を要求する。独立性がどの性質に必要でどの性質に不要かの全体像は、第19章(分散・集中不等式)の ingest で整理する必要がある。 ## 関連 - 概念: [[条件付き確率]](独立性は条件付き確率が周辺確率に一致する特殊ケース)、[[確率空間]]、[[確率変数]](確率変数の独立性は本頁の定義の直接の拡張) - source: [[@2015__MIT__Mathematics for Computer Science - Chapter 17 Conditional Probability]] / [[@2015__MIT__Mathematics for Computer Science - Chapter 18 Random Variables]] ## 出典 - Eric Lehman, F. Thomson Leighton, Albert R. Meyer, *Mathematics for Computer Science*, revised 2015-05-18, Chapter 17 §17.7–§17.8; Chapter 18 §18.2.