# 統計的有意性 Navigation: [[sources/_index]] | [[entities/_index]] | [[concepts/_index]] ## 定義 帰無仮説有意性検定(null hypothesis significance test)において、観測データのもとで計算されたP値があらかじめ定めたType Iエラー閾値α(慣例的にα=0.05)を下回るとき、その結果は「統計的に有意」と呼ばれる。P値は、帰無仮説$H_0$が真であると仮定した場合に、検定統計量が観測値と同等かそれ以上に極端な値をとる確率として定義される(Source: [[@2017__NatHumBehav__Redefine Statistical Significance]])。 ## 横断的知見 - **閾値の締め上げと緩めが正反対の方向から、同じ「αは問題の中心ではない」という帰結を指す**: [[@2017__NatHumBehav__Redefine Statistical Significance]] は再現性危機への処方としてαを 0.05 から 0.005 へ**締める**ことを提案するのに対し、[[@2021__OReilly__Incident Metrics in SRE]] は SRE のインシデント分析でα = .10 という自ら「かなり寛大」と認める水準まで**緩めた**うえで、それでも MTTR では改善を検出できないと結論づける。前者が扱うのは「弱い証拠が有意と呼ばれてしまう」問題、後者が扱うのは「効果量に対して分散が大きくサンプルが少ないため、どんな閾値でも検出力が立たない」問題であり、閾値の調整が効く領域と効かない領域が分かれる。Davidovič の処方が「別の閾値」でも「別の指標」でもなく「採用前に自分のデータでシミュレーションし検出力を確かめる手続き」である点は、閾値論争の外側に出る解として読める(Source: [[@2017__NatHumBehav__Redefine Statistical Significance]], [[@2021__OReilly__Incident Metrics in SRE]])。 - **正規性の前提が成り立つかどうかを、事前にシミュレーションで確かめるという実務的手続き**: [[@2021__OReilly__Incident Metrics in SRE]] は z 検定・t 検定を適用する前に、標本平均の分布の正規確率プロット(Q-Q プロット)をシミュレーションで生成して正規性を確認する手順を示す。1 年分(N=173)なら正規に近づくが、四半期分(N=43)では大きく歪むため、中心極限定理がまだ適用できない。低頻度事象を扱う分野では、有意性閾値の議論に入る前にこの前提検査が必要になる(Source: [[@2021__OReilly__Incident Metrics in SRE]])。 - 以下は [[@2017__NatHumBehav__Redefine Statistical Significance]] 内で示された、P値の解釈に関わる示唆であり、今後別ソースとの突き合わせで横断的知見へ昇格させる候補として保持する。 - P値とベイズ因子(ベイズ的に$H_1$を支持する証拠の強さ)は一意に対応しないが、特定の対立仮説クラスのもとでは両側P値0.05がベイズ因子2.5〜3.4(「弱い」〜「非常に弱い」証拠)に、両側P値0.005がベイズ因子14〜26(「実質的」〜「強い」証拠)に相当する(Source: [[@2017__NatHumBehav__Redefine Statistical Significance]])。 - 有意性閾値αは分野の事前オッズ(帰無仮説が真である割合)に応じて変えるべきという考え方は本論文に限らず既に一部の分野で実践されている: ゲノミクスの「ゲノムワイド有意性閾値」5×10⁻⁸、高エネルギー物理学の「5シグマ」規則(P値閾値約3×10⁻⁷)(Source: [[@2017__NatHumBehav__Redefine Statistical Significance]])。 ## 未解決の問い - P値閾値をP<0.05からP<0.005へ引き下げる提案は、実際に発表後の研究実践(P-hackingへの逃避、報告される効果量の分布、査読・出版判断)にどのような影響を与えたか。本論文自体は提言論文であり、事後的な効果検証を含まない。 - 本論文が引用する再現実験プロジェクトの再現率データ(心理学93件・実験経済学16件)は小規模サンプルに基づく相関であり、P値閾値と再現率の間の因果関係を直接検証した研究は何か。 - ベイズ因子・信頼区間・効果量ベースの代替アプローチ(本論文の「反論への応答」で言及される)を実際に採用した研究分野は、P値閾値引き下げと比べてどの程度再現性を改善したか。 - 心理学・実験経済学以外の分野(生物医学・機械学習・社会科学の他分野)で、閾値引き下げ提案の採否とその後の再現性指標はどう推移したか。 - 低頻度・高分散の運用データ(インシデント・障害・オンコール事象)を扱う分野では、有意性閾値の調整より「そもそもこの指標で意味のある効果量を検出できるか」という検出力設計が先に来る。この検出力優先の姿勢を、閾値論争側の議論(事前オッズに応じたα設定)とどう接続できるか。 ## 関連 - [[@2017__NatHumBehav__Redefine Statistical Significance]] — P値閾値をP<0.05からP<0.005へ変更することを提案する、73名の研究者による提言論文。本conceptの初出ソース。 - [[Daniel J. Benjamin]]・[[Magnus Johannesson]]・[[Valen E. Johnson]] — 同論文の共同通信著者。 - [[インシデントメトリクス]] — 低頻度・高分散データにおける検出力の問題として本 concept と接続する。 ## 出典 - [[@2017__NatHumBehav__Redefine Statistical Significance]] - [[@2021__OReilly__Incident Metrics in SRE]] — α = .10 という寛大な閾値でも MTTR では改善を検出できないことをモンテカルロシミュレーションで示し、正規性の事前検査手順を提示