# 信頼水準 Navigation: [[index]] | [[overview]] ## 定義 **信頼水準(confidence level)**とは、推定手続き(estimation procedure)が目標の誤差範囲内に正しい値を含む結果を返す確率のことである。重要なのは、これは固定された現実の量(既に決まっているが未知の値)についての確率ではなく、**確率的な手続きの性質**だという点である。世論調査の例(有権者のうち候補者Xを支持する割合 p を推定する)で言えば、p 自体は選挙時点で既に決まっている固定値であり、標本を取る前から確率変数ではない。標本 Sn/n(標本サイズ n の無作為抽出による支持率の推定値)は確率変数だが、p はそうではない。したがって「p はSn/n±0.04の範囲に95%の確率で入る」という言明は無意味であり、正しくは「95%の信頼水準で、この推定手続きは p の ±0.04 以内の値を返す」と言うべきである。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 19 Deviation from the Mean]] §19.5) この区別は[[集中不等式]](チェビシェフの不等式・[[分散]]に基づくペアワイズ独立標本抽出定理)を使った統計的推定の応用場面で決定的に重要になる。世論調査の例では、有権者総数(母集団サイズ)が結果に一切影響しないという反直感的な事実も導かれる。標本サイズ n=3125 は、有権者が1万人でも100万人でも10億人でも変わらず十分である。これは、標本平均の分散 Var[Sn/n]=σ^2/n が母集団サイズではなく標本サイズのみに依存するというペアワイズ独立標本抽出定理の帰結である。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 19 Deviation from the Mean]] §19.4.1, §19.5) ## 横断的知見 - **「信頼水準を機械的に固定してはいけない」という規律は、頻度主義の定義そのものと、実務での運用指針という2つの異なる層から独立に支持される**: MIT Mathematics for Computer Science 第19章は信頼水準を「推定手続きが目標の誤差範囲内に正しい値を含む確率」と定義するにとどまり、その水準をいくつに設定すべきかという運用面には触れない。これに対し Jain(第13章 §13.5)は、信頼水準の選択は「母数が区間外だった場合の損失」と「区間内だった場合の利得」の比で決めるべきだと明示し、宝くじの例(当選確率10^-7の宝くじに90%の信頼度で当選するには900万枚買う必要があり、誰もそんな投資はしない、ゆえに0.01%程度の低い信頼水準で十分)で、慣習的に高い信頼水準(90%・95%)を無条件に使うことの不合理さを具体的に示す。両者を合わせると、信頼水準が「手続きの性質を表す確率」であるという定義的事実(MIT)と、「その水準をいくつに設定するかは損失・利得のトレードオフで決める意思決定問題である」という運用的事実(Jain)が補い合う——信頼水準は固定された「正しさの基準」ではなく、意思決定のコストに応じて選ぶパラメータだという点で両者は一致する。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 19 Deviation from the Mean]] §19.4.1, §19.5, [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] §13.5) - **信頼区間の「幅」こそが信頼水準という単一の数値以上の情報を持つ、という Jain の主張は、MIT の頻度主義的定義が暗黙に前提とする「区間か外れるか」という二値的な捉え方を実務的に精緻化する**: MIT第19章は信頼水準を「推定手続きが目標の誤差範囲(±ε)内に収まる確率」として定義し、誤差範囲(区間の幅)自体は所与のものとして扱う。Jain(第13章 §13.6)はこれをさらに進め、同じ「差なし」という結論でも信頼区間(-100, 100)より(-1, 1)の方が強い主張になる(区間が狭いほど推定の精度が高い)ことを指摘し、仮説検定の採否二値判定より信頼区間を推奨する根拠としている。すなわち信頼水準(確率)だけでなく信頼区間の幅(精度)も併せて報告することが、両ソースを合わせて見えてくる実務上の要件である。(Source: [[@2015__MIT__Mathematics for Computer Science - Chapter 19 Deviation from the Mean]] §19.5, [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] §13.6) ## 未解決の問い - 本書は「p 自体が確率変数ではない」という頻度主義(frequentist)の立場を前提に信頼水準を定義しているが、ベイズ主義の[[ベイズ推定]]では p 自体に事前分布を与え「p がある区間に入る確率(信用区間、credible interval)」を直接語ることができる。両者の立場の違いと使い分けは本章の範囲では扱われていない。統計学・機械学習系のソースが入ってきたときに突き合わせて追記する必要がある。 - 本章では「95%信頼水準」という言明の誤用(False Claim として提示される命題)を否定する側の議論は示されるが、実務でこの誤用がどの程度広く再生産されているか(教育・報道・査読論文等での実例)は扱われていない。 - ペアワイズ独立標本抽出定理は母集団サイズが無限大(または非常に大きい)であることを暗黙に仮定しているように読めるが、有限母集団かつ非復元抽出の場合に信頼水準の議論がどう修正されるか(有限母集団補正)は本章の範囲外である。 ## 関連 - source: [[@2015__MIT__Mathematics for Computer Science - Chapter 19 Deviation from the Mean]] / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] - 概念: [[分散]](信頼水準の導出はチェビシェフの不等式と分散に基づく標本平均の集中評価に依存する)、[[集中不等式]]、[[期待値]]、[[信頼区間]](信頼水準1-αを保証する具体的な区間の構成手続き)、[[統計的有意性]](有意水準αを閾値としてp値と比較する仮説検定の枠組みとの対比) ## 出典 - Eric Lehman, F. Thomson Leighton, Albert R. Meyer, *Mathematics for Computer Science*, revised 2015-05-18, Chapter 19 §19.4.1, §19.5. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 13 §13.5-§13.6 — 信頼水準の選択を損失・利得のトレードオフとして論じ、信頼区間の幅が信頼水準以上の情報を持つと主張する。