多重比較問題

データドレッジング（補正されていない多重比較）によって生成された偶然の一致の例。スペリングビーの優勝単語の文字数と、米国で毒グモによって死亡した人の数との間に相関関係が見られます。同じ期間における十分な変数のプールがあれば、偽の相関関係を示すグラフのペアを見つけることが可能です。

多重比較、多重性、あるいは多重検定問題は、同一のデータセットに対して多数の統計検定を実施する際に発生します。各検定にはそれぞれ第1種の誤り（偽陽性）が発生する確率があるため、検定回数が増えるにつれて、少なくとも1つの偽陽性が発生する確率は全体的に増加します。統計学においては、これは複数の統計的推論^{[ 1 ]}を同時に考慮する場合、または観測値に基づいて選択されたパラメータのサブセットを推定する場合に発生します。 ^{[ 2 ]}

偽陽性の確率は、ファミリーワイズエラーレート（FWER）によって測定されます。一連の検査で行われる推論の数が多いほど、誤った推論の可能性が高くなります。推論の数を補正するための統計手法がいくつか開発されており、例えば、個々の比較においてより厳格な有意水準を設定することなどが挙げられます。

歴史

多重比較の問題は、1950年代にテューキーやシェッフェといった統計学者の研究によって注目を集めました。その後数十年にわたり、この問題に対処するための多くの手法が開発されました。1996年には、多重比較手法に関する最初の国際会議がテルアビブで開催されました。^{[ 3 ]}エマニュエル・カンデスやウラジミール・ヴォフクなど、この分野で活躍する研究者は数多くいます。

意味

多重検定による小さなp値の生成。ランダムな色（青または赤）の10個のドットからなる標本を30個観測します。各標本について、青と赤が同確率であるという帰無仮説の両側二項検定を実行します。最初の行は、標本中の青と赤のドットの数の関数として、考えられるp値を示しています。30標本はすべて帰無仮説の下でシミュレートされていますが、得られたp値の1つは、補正なしで典型的な水準0.05で誤った棄却を生じるほど小さいです。

多重比較は、統計分析において複数の統計検定を同時に実施し、それぞれの検定が「発見」につながる可能性がある場合に生じます。明示された信頼水準は通常、個別に検討された各検定にのみ適用されますが、同時実施される検定群全体に対して信頼水準を設定することが望ましい場合も少なくありません。^{[ 4 ]} 多重比較を補正しないと、以下の例に示すように、現実世界で重大な結果を招く可能性があります。

• 実験群が生徒に新しいライティングを教える方法であり、対照群が標準的なライティングの教え方であると仮定します。両群の生徒は、文法、綴り、構成、内容などについて比較できます。比較する属性が増えるほど、ランダム標本誤差のみによって、実験群と対照群の少なくとも1つの属性に違いが見られる可能性が高くなります。
• ある薬の効能を、複数の疾患症状のうちの1つを軽減することという観点から考えてみましょう。より多くの症状を考慮すると、少なくとも1つの症状において、その薬が既存の薬よりも改善されているように見える可能性が高まります。

どちらの例でも、比較回数が増えるにつれて、比較対象となるグループが少なくとも1つの属性において異なるように見える可能性が高くなります。結果が独立したデータに一般化されるという確信は、単一の比較のみを含む分析ではなく、複数の比較を含む分析の一部として観察される場合、一般的に弱くなるはずです。

例えば、5%水準で1つの検定を実施し、対応する帰無仮説が真である場合、その帰無仮説を誤って棄却するリスクはわずか5%です。しかし、5%水準で100回の検定を実施し、対応する帰無仮説がすべて真である場合、誤った棄却（偽陽性またはタイプIの誤りとも呼ばれます）の期待値は5です。検定が互いに統計的に独立している場合（つまり、独立したサンプルで実施されている場合）、少なくとも1つの誤った棄却が発生する確率は約99.4%です。

多重比較の問題は信頼区間にも当てはまります。95%の包含確率水準を持つ単一の信頼区間は、サンプルの95%においてパラメータの真の値を含みます。しかし、それぞれ95%の包含確率を持つ100個の信頼区間を同時に考慮する場合、包含されない区間の予想数は5です。区間が互いに統計的に独立している場合、少なくとも1つの区間に母数パラメータが含まれない確率は99.4%です。

複数の統計テストで発生する偽陽性率と非カバレッジ率の増加を防ぐための手法が開発されました。

多重仮説検定の分類

以下の表は、複数の帰無仮説を検定する際に起こり得る結果を定義しています。H ₁ 、 H  2 _、 …、  H _mで表されるm個の帰無仮説があるとします。統計的検定 を用いて、検定が有意であると判定された場合、帰無仮説を棄却します。検定が有意でない場合は、帰無仮説を棄却しません。各タイプの結果をすべてのH _iにわたって合計すると  、以下の確率変数が得られます。

	帰無仮説は真である（H 0）	対立仮説は真である（H A）	合計
テストは有意であると宣言される	V	S	R
テストは有意ではないと宣言されました	あなた	T	${\displaystyle mR}$
合計	${\displaystyle m_{0}}$	${\displaystyle m-m_{0}}$	メートル

• mはテストされた仮説の総数である
• ${\displaystyle m_{0}}$ は真の帰無仮説の数であり、未知のパラメータである
• ${\displaystyle m-m_{0}}$ 真の対立仮説の数
• Vは偽陽性（第1種の過誤）の数（「偽発見」とも呼ばれる）である。
• Sは真陽性（「真の発見」とも呼ばれる）の数である。
• Tは偽陰性（タイプIIエラー）の数です。
• Uは真陰性の数である
• ${\displaystyle R=V+S}$ 棄却された帰無仮説（「発見」とも呼ばれ、真か偽か）の数である。

そのうちm 個の仮説検定が真の帰無仮説である場合、Rは観測可能なランダム変数であり、S、T、U、およびVは観測不可能なランダム変数です。 ${\displaystyle m_{0}}$

管理手順

ソースデータを表示します。

独立検定の数の関数として、について少なくとも 1 つの帰無仮説が誤って棄却される確率。${\displaystyle \alpha _{\text{比較あたり}}=0.05}$ ${\displaystyle m}$

多重検定補正

多重検定補正とは、多重検定の問題に対処するために統計的検定をより厳格にすることを指します。最もよく知られている補正はボンフェローニ補正ですが、他にも様々な手法が開発されています。このような手法は、典型的にはファミリーワイズエラー率または偽発見率を制御するように設計されます。

m回の独立した比較を行った場合、ファミリーワイズエラー率（FWER）は次のように表される。

${\displaystyle {\bar {\alpha}}=1-\left(1-\alpha _{\{{\text{比較ごとに}}\}}\right)^{m}.}$

したがって、検定が完全に正の従属関係（すなわち同一）でない限り、比較回数が増えるにつれて係数は増加します。比較が独立であると仮定しない場合でも、以下のことが言えます。 ${\displaystyle {\bar {\alpha }}}$

${\displaystyle {\bar {\alpha }}\leq m\cdot \alpha _{\{{\text{比較ごとに}}\}},}$

これはブールの不等式から導かれる。例:${\displaystyle 0.2649=1-(1-.05)^{6}\leq .05\times 6=0.3}$

ファミリーワイズエラー率が最大でも であることを保証するには、さまざまな方法があります。依存性と分布の仮定がない最も保守的な方法は、Bonferroni 補正です。について独立した比較のファミリーワイズエラー率の式を解くことで、わずかに保守的でない補正を得ることができます。これにより が得られ、これはŠidák補正として知られています。もう 1 つの手順はHolm–Bonferroni 法で、最も低い p 値 ( ) のみを最も厳しい基準でテストし、より高い p 値 ( ) を徐々に緩い基準でテストすることにより、単純な Bonferroni 補正よりも一様に検出力が高くなります。^{[ 5 ]}。 ${\displaystyle \alpha}$ ${\displaystyle \alpha _{\mathrm {\{per\ 比較\}} }={\alpha }/m}$ ${\displaystyle m}$ ${\displaystyle \alpha _{\mathrm {\{per\ 比較\}} }}$ ${\displaystyle \alpha _{\{{\text{比較あたり}}\}}=1-{(1-{\alpha })}^{1/m}}$ ${\displaystyle i=1}$ ${\displaystyle i>1}$ ${\displaystyle \alpha _{\mathrm {\{per\ 比較\}} }={\alpha }/(m-i+1)}$

連続的な問題の場合、ベイズ論理を用いて事前・事後ボリューム比から計算することができる。BonferroniとŠidákの補正の連続的な一般化は^{[ 6 ]}に示されている。${\displaystyle m}$

大規模多重検定

多重比較調整のための従来の方法は、多くの場合、分散分析において、少数の比較を補正することに重点を置いています。「大規模多重検定」向けには、数千、あるいはそれ以上の数の検定を行うための異なる一連の手法が開発されています。例えば、ゲノミクスでは、マイクロアレイなどの技術を用いることで、数万個の遺伝子の発現レベルを測定したり、数百万個の遺伝子マーカーの遺伝子型を測定したりすることができます。特に遺伝的関連研究の分野では、非反復（ある研究では統計的に有意な結果が得られたにもかかわらず、その後の研究で再現されなかった）という深刻な問題がありました。このような非反復には多くの原因が考えられますが、多重比較を行うことによる結果を十分に考慮していないことが原因の1つであると広く考えられています。^{[ 7 ]}計測技術と情報技術の進歩により、探索的分析のための大規模データセットの作成がはるかに容易になったと主張されているが、その結果、多くの仮説が真であると期待する根拠が事前に存在しないまま、多数の仮説を検証するケースが増えている。このような状況では、多重比較調整を行わない限り、偽陽性率が非常に高くなることが予想される。

決定的な結果を提供することを目的とする大規模な検定問題においては、統計検定の有意水準を決定するための最も広く受け入れられているパラメータは、ファミリーワイズエラー率です。一方、研究が探索的であるとみなされる場合、または有意な結果が独立した研究で容易に再検定できる場合は、偽発見率（FDR）^{[ 8 ] [ 9 ] [ 10 ]}の制御が好まれることが多いです。FDRは、すべての有意な検定における偽陽性の期待割合として大まかに定義され、研究者は追跡研究でより厳密に評価できる「候補陽性」の集合を特定することができます。^{[ 11 ]}

有意な比較を見つけるために調整されていない比較を多数試すという行為は、意図的であれ無意識的であれ既知の問題であり、「pハッキング」と呼ばれることもある。^{[ 12 ] [ 13 ]}

対立仮説が真であるかどうかを評価する

帰無仮説に基づくZスコアに標準化された一連の検定統計量のシミュレーション結果に対する正規分位点プロット。分布の上端が対角線上の予想される傾向から外れているのは、すべての帰無仮説が真である場合に予想されるよりも大幅に大きな検定統計量が存在するためです。赤い点は観測された4番目に大きい検定統計量3.13に対応し、期待値は2.06です。青い点は観測された5番目に小さい検定統計量-1.75に対応し、期待値は-1.96です。このグラフは、すべての帰無仮説が真である可能性は低く、真の対立仮説のほとんどまたはすべてが正方向への逸脱から生じていることを示しています。

大規模な検定結果セットを分析する際に最初に直面する基本的な問題は、対立仮説のいずれかが真であるという証拠があるかどうかです。検定が互いに独立していると仮定した場合に適用できる単純なメタ検定の一つは、すべての帰無仮説が真である場合に、所定の水準αで得られる有意な結果の数をモデル化するためにポアソン分布を用いることです。観測された陽性結果の数が期待値よりも大幅に多い場合、有意な結果の中に真陽性結果が含まれている可能性が高いことを示唆しています。

たとえば、それぞれ水準 α = 0.05 で 1000 の独立したテストを実行すると、すべての帰無仮説が真である場合に 0.05 × 1000 = 50 の有意なテストが発生することが予想されます。平均 50 のポアソン分布に基づくと、61 を超える有意なテストを観測する確率は 0.05 未満であるため、61 を超える有意な結果が観測された場合、その一部は対立仮説が成り立つ状況に対応する可能性が非常に高くなります。このアプローチの欠点は、テスト統計量が正の相関している場合に、対立仮説の一部が真であるという証拠を誇張することです。これは実際にはよく発生します。 。一方、ポアソン分布が有意な結果の数について適切な近似値を提供することが示されれば、テスト統計量間に相関があってもこのアプローチは有効です。このシナリオは、たとえば、トランザクション データ セットから有意な頻繁アイテムセットをマイニングする場合に発生します。さらに、注意深い 2 段階分析により、FDR を事前に指定したレベルに制限できます。^{[ 14 ]}

検定統計量をZスコアに標準化できる場合に用いられるもう一つの一般的なアプローチは、検定統計量の正規分位点プロットを作成することです。観測された分位点が正規分位点よりも著しく分散している場合、有意な結果の一部は真陽性である可能性があることを示唆します。

参照

• q値

重要な概念

• ファミリーワイズエラー率
• 偽陽性率
• 誤発見率（FDR）
• 偽陰影率（FCR）
• 区間推定
• 事後分析
• 実験ごとのエラー率
• 統計的仮説検定

シングルステップ手順

• ボンフェローニ補正
• ダネット検定
• ホッホベルグのGT2
• シェッフェ法
• シダーク訂正
• テューキーのHSD

2段階の「保護された」手順

• ダンカンの新しい多重範囲検定
• フィッシャーの最小有意差
• フィッシャー・ヘイター法
• スチューデント・ニューマン・クールズ検定

順次手順

• 降圧
  • キャンベルとブラックウェルのステップダウン手順
  • ホランド・コペンハーバー法
  • ホルム・ボンフェローニ法
  • シャファーの修正ホルム法
  • ウェルシュのステップダウン法（ライアン・アイノット・ガブリエル・ウェルシュ法とも呼ばれる）
• ステップアップ
  • ベンジャミニ・ホッホベルグ法
  • ベンジャミニ・エクティエリ手術
  • ダネットとタムハネのステップアップ手順
  • ホッホバーグのステップアップ手順
  • ホメル法

多重比較におけるアルファ調整の一般的な方法

• ブール・ボンフェローニ境界
• クローズドテスト手順
• E値
• 調和平均p値手順

関連概念

• データによって示唆される仮説の検証
• テキサスの狙撃兵の誤謬
• モデル選択
• 他の場所を見る効果
• データドレッジ
• 誕生日の問題

参考文献

1. ミラー, RG (1981).同時統計推論第2版. シュプリンガー・フェアラーク・ニューヨーク. ISBN 978-0-387-90548-8。
2. Benjamini, Y. (2010). 「同時推論と選択推論：現在の成功と将来の課題」.バイオメトリカルジャーナル. 52 (6): 708– 721. Bibcode : 2010BiomJ..52..708B . doi : 10.1002/bimj.200900299 . PMID 21154895. S2CID 8806192 .  
3. 「ホーム」 . mcp-conference.org .
4. クトナー, マイケル; ナハトハイム, クリストファー;ネター, ジョン; リー, ウィリアム (2005).応用線形統計モデル. マグロウヒル・アーウィン. pp.  744–745 . ISBN 9780072386882。
5. Aickin, M; Gensler, H (1996年5月). 「研究結果を報告する際の多重検定の調整：Bonferroni法とHolm法の比較」 Am J Public Health . 86 (5): 726– 728. doi : 10.2105/ajph.86.5.726 . PMC 1380484 . PMID 8629727 .  
6. Bayer, Adrian E.; Seljak, Uroš (2020). 「統合ベイズ主義と頻度主義の観点から見たlook-elsewhere効果」 . Journal of Cosmology and Astroparticle Physics . 2020 (10): 009. arXiv : 2007.13821 . Bibcode : 2020JCAP...10..009B . doi : 10.1088/1475-7516/2020/10/009 . S2CID 220830693 . 
7. Qu, Hui-Qi; Tien, Matthew; Polychronakos, Constantin (2010-10-01). 「遺伝的関連研究における統計的有意性」 . Clinical and Investigative Medicine . 33 (5): E266– E270. ISSN 0147-958X . PMC 3270946. PMID 20926032 .   
8. ベンジャミニ、ヨアブ；ホッホバーグ、ヨセフ（1995）「偽発見率の制御：多重検定への実用的かつ強力なアプローチ」王立統計学会誌、シリーズB . 57 (1): 125– 133. doi : 10.1111/j.2517-6161.1995.tb02031.x . JSTOR 2346101 . 
9. ; Tibshirani, Robert (2003). 「ゲノムワイド研究における統計的意義」 . PNAS . 100 ( 16): 9440–9445 . Bibcode : 2003PNAS..100.9440S . doi : 10.1073/pnas.1530509100 . JSTOR 3144228. PMC 170937. PMID 12883005 .   
10. Efron, Bradley; Tibshirani, Robert; Storey, John D.; Tusher, Virginia (2001). 「マイクロアレイ実験の経験的ベイズ分析」. Journal of the American Statistical Association . 96 (456): 1151– 1160. Bibcode : 2001JASA...96.1151E . doi : 10.1198/016214501753382129 . JSTOR 3085878. S2CID 9076863 .  
11. Noble, William S. (2009-12-01). 「多重検定補正はどのように機能するのか？」 . Nature Biotechnology . 27 (12): 1135– 1137. Bibcode : 2009NatBi..27.1135N . doi : 10.1038/nbt1209-1135 . ISSN 1087-0156 . PMC 2907892. PMID 20010596 .   
12. Young, SS, Karr, A. (2011). 「デミング、データ、そして観察研究」(PDF) .意義. 8 (3): 116– 120. doi : 10.1111/j.1740-9713.2011.00506.x .
13. Smith, GD, Shah, E. (2002). 「データの浚渫、バイアス、あるいは交絡」 . BMJ . 325 (7378): 1437– 1438. doi : 10.1136/bmj.325.7378.1437 . PMC 1124898. PMID 12493654 .  
14. Kirsch, A; Mitzenmacher, M ; Pietracaprina, A; Pucci, G; Upfal, E ; Vandin, F (2012年6月). 「統計的に有意な頻出アイテムセットを特定するための効率的で厳密なアプローチ」Journal of the ACM . 59 (3): 12:1–12:22. arXiv : 1002.1104 . doi : 10.1145/2220357.2220359 .

さらに読む

• F. Bretz、T. Hothorn、P. Westfall (2010)、「Rを用いた多重比較」、CRC Press
• S. DudoitとMJ van der Laan（2008）、多重検定手順とゲノミクスへの応用、Springer
• Farcomeni, A. (2008). 「現代の多重仮説検定のレビュー、特に偽発見率に注目して」.統計的医学研究手法. 17 (4): 347– 388. doi : 10.1177/0962280206079046 . hdl : 11573/142139 . PMID  : 17698936. S2CID  : 12777404 .
• Phipson, B.; Smyth, GK (2010). 「順列p値はゼロであってはならない：順列がランダムに抽出された場合の正確なp値の計算」.遺伝学および分子生物学における統計的応用. 9 : Article39. arXiv : 1603.05766 . doi : 10.2202/1544-6115.1585 . PMID  21044043. S2CID  10735784 .
• PH WestfallとSS Young（1993）、Resampling-based Multiple Testing: E​​xamples and Methods for p-Value Adjustment、Wiley
• P. Westfall、R. Tobias、R. Wolfinger (2011) SAS を使用した多重比較と多重検定、第 2 版、SAS Institute
• データドレッジによって得られたあり得ない相関関係の例のギャラリー
• [1]ジェリービーンズとニキビを例に、多重比較問題についてのxkcdコミック