# Redefine Statistical Significance Navigation: [[sources/_index]] | [[entities/_index]] | [[concepts/_index]] > [!abstract] 概要(abstract の日本語訳) > 我々は、統計的有意性のデフォルトのP値閾値を0.05から0.005へ変更することを提案する。 ## 論文情報 - タイトル: Redefine Statistical Significance - 著者: [[Daniel J. Benjamin]]*・James O. Berger・[[Magnus Johannesson]]*・Brian Nosek・E.J. Wagenmakers ほか68名(共著者合計73名。*は共同通信著者、もう1名の共同通信著者は末尾の[[Valen E. Johnson]]*)。全著者リストと所属機関(米国・欧州・オーストラリアの経済学・心理学・統計学・生物学分野71機関)はPDF原本 冒頭を参照。 - 媒体: [[Nature Human Behaviour]](Nature Publishing Group) - 巻・ページ: Volume 2, pp. 6–10 - 発行日: オンライン先行公開 2017-09-01(DOI登録日。ORA Oxfordのメタデータでは出版年2017年、Semantic ScholarのpublicationDateも2017-09-01。印刷号は2018年1月号 Volume 2 Issue 1)ℹ️ - DOI: [10.1038/s41562-017-0189-z](https://doi.org/10.1038/s41562-017-0189-z) - One Sentence Summary(原文): "We propose to change the default P-value threshold for statistical significance from 0.05 to 0.005." - 本原本はOxford University Research Archive(ORA)に登録されたaccepted manuscript(採択済み原稿)版。 ## 概要 科学的発見の再現性が低いという懸念が広がる中、本論文は主要な未解決要因として「統計的有意性の証拠水準そのものが低すぎる」ことを挙げる。P < 0.05を「統計的有意」の基準とする現行の慣行は、他の実験・手続き・報告上の問題が無くとも高い偽陽性率を生む。著者らは、P < 0.05を既定の有意性閾値とする分野において、これをP < 0.005へ引き下げることを提案する。この提案は「新規効果の発見」の主張にのみ適用され、確証的・反証的な再現実験の閾値や、既により厳格な基準を採用済みの分野(ゲノミクス・高エネルギー物理学)には及ばない。 ## 問題設定 著者らは、帰無仮説有意性検定(null hypothesis significance test)を用いる研究分野において、新規発見を主張するための統計的証拠水準がどこにあるべきかを問う。多重検定・P-hacking・出版バイアス・検出力不足といった再現性低下の他の要因についてはすでに研究が進んでいる一方、「有意性」の閾値自体が甘すぎるという論点はこれまで十分に対処されてこなかったというのが出発点である。 ## 提案手法 ### ベイズ的視点からのP値の再解釈 帰無仮説$H_0$と対立仮説$H_1$を観測データ$x_{obs}$のもとで検定するとき、両側P値は帰無仮説のもとで検定統計量が観測値以上に極端になる確率として定義される。従来はこのP値が現行のType Iエラー閾値α=0.05を下回れば帰無仮説を棄却し、「統計的に有意」と宣言してきた。 著者らはベイズの定理から、$H_1$に対する事後オッズは $\frac{\Pr(H_1|x_{obs})}{\Pr(H_0|x_{obs})} = \frac{f(x_{obs}|H_1)}{f(x_{obs}|H_0)} \times \frac{\Pr(H_1)}{\Pr(H_0)} \equiv BF \times (\text{事前オッズ})$ と書けることを示す(式1)。ここで$BF$はベイズ因子で、データが提供する証拠の強さを表す。多重検定・P-hacking・出版バイアスの効果は、$H_1$の事前オッズを$H_0$に対して相対的に引き下げることに相当する。心理学実験の予測市場・再現実験の分析はいずれも、$H_1$の事前オッズがおよそ1:10程度にすぎない可能性を示唆する。がん臨床試験でも同様の数値が報告されており、前臨床の生物医学研究ではさらに低い可能性がある。 P値とベイズ因子の間に一意な対応関係は無い(ベイズ因子は$H_1$の定義に依存するため)が、特定の検定統計量・特定のクラスの対立仮説のもとでは両者の関係を評価できる。 **Figure 1: P値とベイズ因子の関係** ![[_attachments/m6cfac675d954e8bc4f3e9f7ff07a614c/fig01-bayes-factor-vs-pvalue.png]] (Figure 1. 観測値が$x \sim N(\mu, \sigma^2)$に独立同分布に従い、平均$\mu$が未知・分散$\sigma^2$が既知という仮定のもとでの両側z検定(≡片側$\chi_1^2$検定、帰無仮説$H_0: \mu=0$)のP値とベイズ因子の関係。4本の曲線は$H_1$の定義の違いに対応する: 「Power」はサイズα=0.05の検定で検出力75%を与える効果量$m$のもとで$\mu=\pm m$に½ずつ確率を置く定義、「Likelihood Ratio Bound」は観測平均に近い$\hat{x}$のもとで$\mu=\pm\hat{x}$に½ずつ確率を置く(データ依存のため厳密には不適切だが、帰無仮説周りで対称な全$H_1$のクラスの中で上限を与える)定義、「UMPBT」はサイズ0.0025の片側検定に対応する$\mu=\pm w$に½ずつ確率を置く一様最強力ベイズ検定による定義(検出力80%の「Power」曲線とほぼ区別できない)、「Local-$H_1$ Bound」は$BF = -1/(ep\ln p)$という、帰無仮説に最頻値を持つ単峰な全対立仮説クラスにわたる大標本上限。P値0.05は、これらの仮定のもとで$H_1$に有利なベイズ因子2.5〜3.4に相当する。) Figure 1が示すとおり、両側P値0.05は妥当な仮定のもとで2.5〜3.4程度のベイズ因子にしか相当しない。これは(1)慣例的なベイズ因子分類では「弱い」または「非常に弱い」証拠とされ、(2)多くの科学者はP≈0.05がベイズ因子2.5〜3.4よりも強い証拠を意味すると誤解しているだろうと著者らは推測し、(3)式1と事前オッズ1:10を用いると、P値0.05は実は帰無仮説を支持する少なくとも3:1のオッズ(1/(10×3.4)の逆数)に相当する、という3つの観点から弱い証拠だと論じる。 ### なぜ0.005か 任意の閾値の選択はType IエラーとType IIエラーのトレードオフを伴うため恣意的である。著者らが0.005を提案する理由は2つ。第一に、両側P値0.005はおよそ14〜26のベイズ因子に相当し、慣例的なベイズ因子分類では「実質的」から「強い」証拠に区分される。第二に、多くの分野でP < 0.005基準を採用すると、偽陽性率が妥当と判断できる水準まで下がる。 帰無仮説が真である割合を$\phi$、検定の検出力を$1-\beta$、Type Iエラー/有意性閾値を$\alpha$とすると、検定対象の仮説集団が大きくなるにつれ、偽陽性率(統計的に有意とされた発見全体のうち真に帰無仮説が成り立つものの割合)は次式で近似できる(式2)。 $\text{偽陽性率} \approx \frac{\alpha\phi}{\alpha\phi + (1-\beta)(1-\phi)}$ **Figure 2: P値閾値・検出力・偽陽性率の関係** ![[_attachments/m6cfac675d954e8bc4f3e9f7ff07a614c/fig02-false-positive-rate.png]] (Figure 2. 式2に基づき、事前オッズ$(1-\phi)/\phi$の異なる3水準(1:40・1:10・1:5)について、有意性閾値α=0.05(破線)とα=0.005(実線)のもとでの偽陽性率を検出力$1-\beta$の関数として示す。P<0.05閾値では検出力に関わらず偽陽性率が高止まりする一方、P<0.005閾値ではいずれの事前オッズ・検出力水準でも大幅に低下する。) 多くの研究で検出力は低く、Figure 2は低い検出力とα=0.05の組み合わせが高い偽陽性率を生むことを示す。事前オッズ1:10・P値閾値0.05のとき、検出力の水準によらず偽陽性率は33%を超えるが、閾値を0.005に下げるとこの最小偽陽性率は5%まで低下する。 心理学と実験経済学の最近の再現実験プロジェクトから得られた実証的証拠は、$H_1$に有利な事前オッズについての手がかりを与える。両プロジェクトとも、初期研究がP<0.005であった場合の再現率(再現実験でP<0.05かつ方向が一致した割合)は、初期研究が0.005<P<0.05であった場合のおよそ2倍だった: 心理学で50%対24%、実験経済学で85%対44%。これらはそれぞれ93件・16件(初期研究でP>0.05のものを除外後)という比較的小規模なサンプルに基づくものの、新しい0.005閾値が再現性向上にもたらしうる利得を示唆する。生物医学研究では、最近の論文サンプルの96%がP<0.05基準で統計的有意な結果を主張しているが、これらの研究の再現率は非常に低いと報告されており、この分野でも新基準の採用による利得の可能性を示唆する。 ## 新規性 P≈0.05を発見の閾値として用いることの相対的な弱さは統計学者の間では既知であり、0.005への引き下げという提案自体も新しいものではない(Greenwald et al. 1996、Johnson 2013)。本論文の新規性は、経済学・心理学・統計学など多分野にまたがる73名の研究者がこの変更を集団として支持する「批判的多数派(critical mass)」を形成した点、および式1・式2による定量的論拠(ベイズ因子換算・偽陽性率の閉形式近似)と実証的な再現率データを組み合わせて単一の提言に統合した点にある。 ## 実験設定 本論文は新規の実験や実データ収集を行う実証研究ではなく、既存の理論(ベイズ因子とP値の関係、式2の偽陽性率近似)と既存の再現実験プロジェクトの結果(Open Science Collaboration 2015の心理学再現実験93件、Camerer et al. 2016の実験経済学再現実験16件、Chavalarias et al. 2016の生物医学文献のP値報告状況)を引用・再計算して論拠を組み立てる提言論文(perspective/comment)である。Figure 1・Figure 2は著者らが式1・式2に基づき計算した分析的な図であり、経験的測定値のプロットではない。 ## 実験結果 上記「なぜ0.005か」節に記載のとおり、(1) P値0.05は弱いベイズ的証拠(BF 2.5〜3.4)にしか相当しない、(2) P値0.005はBF 14〜26という実質的な証拠に相当する、(3) 事前オッズ1:10・検出力80%を仮定するとα=0.05からα=0.005への移行に必要なサンプルサイズ増加はおよそ70%、(4) 心理学・実験経済学の再現実験データはP<0.005の初期研究の方が高い再現率を示す、という4つの分析結果が本論文の中核的な結果である。 ## 考察 ### 反論への応答(Potential Objections) 著者らは想定される反論に個別に応答する。 - **偽陰性率が容認できないほど高くなるのでは**: 新閾値に届かない証拠は「示唆的」として扱い、可能であればさらに証拠を蓄積すべきである。帰無仮説の棄却失敗は帰無仮説の受容を意味しない。またサンプルサイズを増やして検出力を一定に保てば偽陰性率は増加しない。 - **サンプルサイズが約70%増加し、実施できる研究数が減るのでは**: その通りだが、Figure 2が示すように偽陽性率は通常2倍以上低下する。誤った前提に基づく将来の研究を実施しないことで、むしろ相当な資源が節約される。小規模研究は効果量の過大推定や出版バイアスの影響を受けやすいため、サンプルサイズの増加自体が望ましい。 - **多重検定・P-hacking・出版バイアス・低検出力など、より大きな問題に対処していないのでは**: その通りであり、著者らも同意する。P値閾値の引き下げはこれらの問題への解決策を代替するものではなく補完するものであり、優れた研究デザイン・事前の検出力計算・分析の事前登録・再現実験・透明な報告と併用すべきである。 - **有意性の閾値は研究コミュニティごとに異なるべきでは**: 著者らも、閾値は帰無仮説の事前オッズ・検定される仮説数・研究デザイン・Type I対Type IIエラーの相対コストなど分野固有の要因に依存すべきだと同意する。事前オッズが極めて低い探索的研究には0.005よりさらに低い閾値が必要であり、この認識からゲノミクス分野は10年以上前に「ゲノムワイド有意性閾値」5×10⁻⁸を採用し、高エネルギー物理学では「5シグマ」規則(P値閾値約3×10⁻⁷)が長年の伝統となっている。著者らは基本的に「2シグマ規則から3シグマ規則への移行」を提案していると位置づける。 - **有意性閾値の変更自体が、帰無仮説有意性検定という枠組みそのものを置き換えるべきだという本質的な議論からの目くらましでは**: 効果量と信頼区間、P値を連続的な尺度として扱う方法、ベイズ的手法など、より良い代替アプローチがあるという点では著者らの多くが同意するが、代替手法についてのコンセンサスは未だ存在しない。有意性閾値を変更した後も、著者らの多くは帰無仮説有意性検定の代替を引き続き主張し続けるだろう。 ### 結論 Ronald Fisherは0.05という選択が恣意的であることを、この基準を導入した当初から理解していた。それ以来、理論と実証的証拠はより低い閾値の必要性を示してきた。より多くの科学者がより多くの問いを、しばしばより低い事前オッズのもとで問うようになった現在、帰無仮説有意性検定に依拠し続ける研究コミュニティにとって、新規発見の主張に対するP値閾値を0.005へ引き下げることは、再現性を即座に改善する実行可能な一歩である。著者らは、この提言が証拠の水準に関するものであり、政策的行動の基準でも出版の基準でもないことを強調する。統計的有意性の閾値(それが何であれ)に届かない結果も、重要な研究課題に厳密な手法で取り組んでいれば、依然として重要でトップジャーナルへの掲載に値しうる。0.005<P<0.05を適切に「示唆的証拠」とラベル付けした新規知見の出版を、本提案を根拠に拒否すべきではない。より厳格な基準を課す一方で研究の質と透明性を報いるべきであり、この変更に対する研究者の行動変化を監視すべきである。そうしなければ、より厳しい有意性閾値が研究の質と透明性を犠牲にして満たされてしまう危険を科学は負う。 ## 強み / 弱点・課題 - **強み**: 経済学・心理学・統計学・生物学など多分野にまたがる73名の研究者の合意として提示されている点。ベイズ因子換算(式1・Figure 1)と偽陽性率の閉形式近似(式2・Figure 2)という2つの独立した定量的論拠を組み合わせている点。既存の再現実験プロジェクト(心理学・実験経済学)の実証データを援用し、理論的主張を経験的観測と結びつけている点。想定される5つの反論すべてに個別かつ具体的に応答している点。 - **弱点・限界**: 著者ら自身が明言するとおり、本提言は多重検定・P-hacking・出版バイアス・低検出力といった再現性低下の他の主要因には対処しない(あくまで補完的な一手である)。心理学93件・実験経済学16件という再現率の実証データは小規模サンプルに基づく相関にとどまり、閾値0.005自体が再現率を因果的に押し上げることを直接検証したものではない。またサンプルサイズ約70%増加という帰結は、予算・実施可能な研究数の制約がある分野では実務上の障壁になりうる。本論文自体が新規の実験を行わない提言論文であるため、提案の実際の効果(研究者の行動変化・p-hackingへの逃避等)は本論文の範囲外であり、著者ら自身が「監視すべき」と述べるにとどまる。