# 信頼区間 Navigation: [[index]] | [[overview]] ## 定義 **信頼区間(confidence interval)**とは、標本から計算した2つの値(c1, c2)からなる区間で、母数(例: 母平均μ)がその区間に含まれる確率が1-αであるものを指す: Probability{c1≤μ≤c2} = 1-α。ここでαを**有意水準(significance level)**、100(1-α)を**信頼水準(confidence level)**(通常はパーセントで表記し90%や95%に近い値を取る)、1-αを**信頼係数(confidence coefficient)**と呼ぶ。母平均のように標本ごとに変動しない固定値の母数について、標本から得た点推定値だけを示すのではなく、その母数が高い確率で収まる範囲を示す点推定と区間推定の橋渡しをする手続きである。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] §13.2) 信頼区間は中心極限定理によって、実際には1つの標本だけから構成できる。大標本(n>30)では標本平均が近似的に正規分布N(μ, σ/√n)に従うことを使い、母標準偏差の代わりに標本標準偏差sを用いて x̄ ± z[1-α/2]·s/√n という形の区間を作る。標本サイズが小さく、かつ観測が正規分布に従う母集団からのものだと仮定できる場合は、代わりにt分布の分位点を使い x̄ ± t[1-α/2;n-1]·s/√n とする。標本平均の標準偏差 s/√n は**標準誤差(standard error)**と呼ばれ、母標準偏差そのものとは異なり標本サイズnが大きくなるほど小さくなる。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] §13.2) 信頼区間は、ある値(例: ゼロ)との有意差の判定にも使える。信頼区間がその値を含まなければ、測定値はその値と有意に異なると判定する。この考え方は、対応のある(paired)観測どうしの差、対応のない(unpaired)2標本の平均差、比率の差など、さまざまな比較対象に共通して適用できる汎用的な判定手続きである。両側検定では分位点を1-α/2で読むが、片側だけの比較(一方が他方より大きいかだけを問う)には片側信頼区間を使い、分位点を1-αで読む。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] §13.3, §13.4, §13.7) ## 横断的知見 (この concept は本ソースで初めて作成された。複数ソースの突き合わせによる知見は、他の source が信頼区間・仮説検定・A/Bテストなどの実務的な判定手続きを扱う際にここへ追記する。) - **回帰パラメータ・回帰予測への適用は、本ページのt分布に基づく信頼区間構成をそのまま流用する**: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.5-§14.6は、回帰係数b0・b1や予測応答の信頼区間を、本ページが定義したx̄ ± t[1-α/2;n-1]·s/√n と同じt分布ベースの構成(標準誤差にt分位点を掛けて点推定の両側に加減する形)で与える。新規性は対象が単一の母平均から、回帰パラメータ・予測応答という別の統計量に広がる点であり、特に「平均応答に対する信頼区間」と「単一の将来観測に対する信頼区間」が別物であり後者の方が常に広いという区別は、本ページが扱う母平均の信頼区間には現れない、予測固有の論点である。詳細はch.14自身のページと[[線形回帰]]を参照。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]] §14.5-§14.6) - **本ページが定義する信頼区間の式は、シミュレーションを「いつ止めてよいか」の判断基準としてそのまま転用される**: 第13.9節が示す標本サイズの決定(目標とする信頼区間の幅から必要な標本サイズを逆算する考え方)は、[[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 25 Analysis of Simulation Results]] §25.5では「目標とする信頼区間の幅から停止条件を決める」という形でシミュレーション実行時間の決定手続きに転用される。ただし単純な転用では済まない差異がある。第13章の信頼区間の式(標本平均の分散を観測自体の分散から直接求める式)は観測が独立であることを前提とするが、多くのシミュレーション(特に[[離散事象シミュレーション]])の逐次観測は待ち時間のように強く相関するため、この独立性を前提とした式をそのまま使うと分散を過小評価し信頼区間を狭く見積もりすぎる(実際の分散が公式値の300倍に達した例が報告されている)。第25章はこの相関を補正するため、独立反復・バッチ平均・再生成という3手法で「相関のある観測から正しく分散を推定してから信頼区間を構成する」という追加の手続きを挟んでおり、第13章の信頼区間の枠組みそのものは保持しつつ、分散の入力側を差し替える形で拡張している(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] §13.9, [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 25 Analysis of Simulation Results]] §25.5)。 - **実験計画法の効果推定への適用は、単一の母平均から要因の効果・効果差(対比)へ対象を広げるが、区間構成の骨格(点推定 ± t分位点 × 標準誤差)は変えない**: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 21 Two-Factor Full Factorial Design Without Replications]] §21.6は、二要因実験の効果µ・α_j・β_iや、α1-α2のような効果差(対比)の信頼区間を、本ページが定義したt分布ベースの構成と同じ形(推定値 ± t[1-α/2; 自由度]×標準偏差)で与える。新規性は分母の自由度が観測数由来のn-1ではなく、実験計画の構造(反復なし二要因なら誤差の自由度(a-1)(b-1))から決まる点であり、[[実験計画法]]が扱う「反復なしでは相互作用と誤差が分離できない」という制約は、この誤差自由度の決め方を通じて信頼区間の幅にもそのまま波及する。詳細はch.21自身のページと[[実験計画法]]を参照。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 21 Two-Factor Full Factorial Design Without Replications]] §21.6) - **反復ありの二要因実験(ch.22)では、誤差自由度がab(r-1)へ増え相互作用が誤差から分離されるため、同じt分布ベースの信頼区間構成のまま区間幅が実際に狭くなり、かつ従来構成できなかった相互作用項自体の信頼区間も新たに構成できる**: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 22 Two-Factor Full Factorial Design with Replications]] §22.6は、ch.21と同じ「推定値 ± t[1-α/2; 誤差自由度]×標準偏差」という構成をそのまま使うが、誤差自由度がch.21の(a-1)(b-1)からab(r-1)へ変わる(反復rが増えるほど大きくなる)。コードサイズ比較の事例では誤差自由度40に対しt分位点の代わりに単位正規分布の分位点z0.95=1.645が使え、区間が「非常に狭く」なることが実際に確認される——本書はこれを「相互作用を実験誤差から分離できたため実験誤差自体が小さくなった結果」と説明する。加えて、ch.21のモデルには相互作用項が存在しなかったため構成不可能だった相互作用γ_ijそのものの信頼区間(Table 22.9)も、本章で初めて計算できるようになる(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 22 Two-Factor Full Factorial Design with Replications]] §22.6)。 - **本ページが「Section 29.16で詳述される」と留保していたt分布のパラメータ(自由度)の素性が、第29章で明かされる**: 本ページの定義は、小標本の信頼区間構成でt分布の分位点t[1-α/2;n-1]を使うと述べるにとどまり(§13.2)、t分布そのものがどのような確率的対象の分布であるかには立ち入らない。[[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 29 Commonly Used Distributions]] §29.16は、単位正規変量xとカイ二乗変量y~χ²(v)の比 x/√(y/v) がt分布t(v)に従うという定義を与え、この分布が統計学者W. S. Gosset(1876-1937)が匿名"Student"で発表したことに由来することも述べる。この由来を踏まえると、本ページが定義する小標本の信頼区間構成x̄±t[1-α/2;n-1]·s/√nは、標本平均が正規分布に近似的に従うという仮定のもとで「正規変量とカイ二乗変量の比」という構造を持つ統計量にt分布の分位点を当てはめる手続きであることが分かる。t分布が正規分布に比べてどれだけ裾が重いか(自由度vが小さいほど重い)は、この比の構造(分母のカイ二乗変量が小標本では不安定になりやすい)に由来する。(Source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] §13.2, [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 29 Commonly Used Distributions]] §29.16) ## 未解決の問い - 信頼区間は頻度主義の枠組み(母数は固定値、区間の側が確率的に変動する)で定義されている。ベイズ主義の信用区間(credible interval、母数自体に事前分布を与え区間に入る確率を直接語る)との対応関係は本章の範囲では扱われていない。[[信頼水準]]が既に指摘する頻度主義とベイズ主義の対立と同じ論点であり、統計学系のソースが入ってきたときに突き合わせる必要がある。 - 本章は大標本(n>30)で正規近似、小標本で母集団の正規性を仮定したt分布という二分法を示すが、母集団が正規分布から大きく外れている小標本(歪んだ分布、多峰性など)の場合にどう信頼区間を構成すべきかについては触れていない。ノンパラメトリックな手法(ブートストラップ法等)との関係は未検討。 - 比率の信頼区間(§13.8)はnp≥10の条件下でのみ正規近似が有効とされ、条件を満たさない場合は「二項分布表に基づく複雑な計算が必要」とだけ述べられ具体的な手続きは示されない。稀少事象(np<10)の信頼区間構成法は本章の範囲外。 - 標本サイズの逆算式(§13.9)は予備測定で分散を事前に推定できることを前提とするが、予備測定自体の標本サイズをどう決めるべきかという循環的な問題には触れていない。 ## 関連 - source: [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 13 Comparing Systems Using Sample Data]] / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 14 Simple Linear Regression Models]](回帰パラメータ・予測への適用) / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 21 Two-Factor Full Factorial Design Without Replications]](実験計画の効果・対比への適用) / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 22 Two-Factor Full Factorial Design with Replications]](反復による誤差自由度の拡大と相互作用項の信頼区間) / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 25 Analysis of Simulation Results]](シミュレーションの停止条件への適用) / [[@1991__Wiley__The Art of Computer Systems Performance Analysis - Chapter 29 Commonly Used Distributions]](t分布の数学的な素性) - 概念: [[線形回帰]](本ページの信頼区間構成を回帰パラメータ・予測応答に適用する具体例)、[[信頼水準]](信頼区間が保証する確率の水準そのものの定義と、頻度主義的な解釈)、[[統計的有意性]](信頼区間による有意差判定と、p値・有意水準に基づく仮説検定の対比)、[[分散]](標準誤差 s/√n の分母を構成する標本分散の理論的定義)、[[期待値]](母平均・標本平均の理論的定義)、[[要約統計量の選定]](信頼区間の幅の基礎となる分散・標準偏差の選び方)、[[離散事象シミュレーション]](信頼区間の幅を停止条件に使うシミュレーションの類型)、[[実験計画法]](反復なし二要因実験の誤差自由度が信頼区間の幅を決める仕組み)、[[確率分布の選択と関係]](t分布・カイ二乗分布・F分布の由来を含む分布間関係の地図) ## 出典 - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 13 §13.2-§13.9. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 14 §14.5-§14.6. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 21 §21.6. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 22 §22.6. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 25 §25.5. - Raj Jain, *The Art of Computer Systems Performance Analysis*, John Wiley & Sons, 1991, Chapter 29 §29.16(t分布の由来: 正規変量とカイ二乗変量の比)。