統計的仮説検定

検定統計量	テストの種類
t統計量	t検定回帰検定
F統計量	分散分析多変量解析 共分散分析
z統計量	z検定
x ^2 -統計	カイ二乗検定
最も一般的なテスト統計とそれに対応する統計テストまたはモデルの 一部。

統計的仮説検定は、データが特定の仮説を棄却するのに十分な証拠を提供しているかどうかを判断するために用いられる統計的推論の手法です。統計的仮説検定では通常、検定統計量の計算が行われます。そして、検定統計量を臨界値と比較するか、あるいは検定統計量から算出されたp値を評価することによって、決定が下されます。現在使用されている約100種類の専門的な統計検定法は注目に値します。^{[ 1 ] [ 2 ]}

歴史

仮説検定は20世紀初頭に普及しましたが、初期の形態は1700年代にすでに使用されていました。最初の使用者はジョン・アーバスノット（1710年）とされ、^{[ 3 ]} 、続いてピエール＝シモン・ラプラス（1770年代）が出生時の性比の分析に使用しました（「人間の性比」の項を参照）。

帰無仮説の選択

ポール・ミールは、帰無仮説の選択の認識論的重要性がほとんど認識されていないと主張している。帰無仮説が理論によって予測される場合、より精密な実験は、その根底にある理論をより厳密に検証することになる。一方、帰無仮説が「差なし」または「効果なし」とデフォルト設定されている場合、より精密な実験は、実験を実施する動機となった理論をより緩やかに検証することになる。^{[ 4 ]}したがって、後者の慣行の起源を検証することは有益であろう。

1778年：ピエール・ラプラスはヨーロッパの複数の都市における男女の出生率を比較した。彼は「これらの可能性はほぼ同じ比率であると結論付けるのは当然である」と述べた。したがって、この場合の帰無仮説は、「常識」に従えば男女の出生率は等しいはずであるというものである。^{[ 5 ]}

1900年：カール・ピアソンは、カイ二乗検定を開発し、「与えられた頻度曲線が、与えられた母集団から抽出された標本を効果的に記述するかどうか」を判定した。したがって、帰無仮説は、母集団が理論によって予測される何らかの分布によって記述されるというものである。彼はウェルドンのサイコロ投げデータにおける5と6の出目を例として挙げた。^{[ 6 ]}

1904年：カール・ピアソンは、結果が特定のカテゴリ要因から独立しているかどうかを判断するために、 「コンティンジェンシー」の概念を発展させた。ここでの帰無仮説は、2つの事柄（例えば、瘢痕形成と天然痘による死亡率）は無関係であるという仮定に基づいている。 ^{[ 7 ]}この場合の帰無仮説は、もはや理論や常識によって予測されるものではなく、フィッシャーらが「逆確率」の使用を否定した無関心の原理である。 ^{[ 8 ]}

近代の起源と初期の論争

現代の有意性検定は、カール・ピアソン（p値、ピアソンのカイ二乗検定）、ウィリアム・シーリー・ゴセット（スチューデントのt分布）、そしてロナルド・フィッシャー（「帰無仮説」、分散分析、「有意性検定」）の成果である。一方、仮説検定はイェジー・ネイマンとエゴン・ピアソン（カールの息子）によって開発された。ロナルド・フィッシャーはベイズ主義者として統計学の道を歩み始めた（Zabell 1992）。しかし、フィッシャーはすぐに統計学の主観性（事前確率の決定における無差別原理の使用など）に幻滅​​し、帰納的推論に対してより「客観的」なアプローチを提供しようとした。^{[ 9 ]}

フィッシャーは、ガウス分布を仮定し、少数の標本から結果を引き出すための厳密な実験設計と手法を重視しました。ネイマン（若いピアソンとチームを組んだ）は、多くの標本とより広い分布範囲からより多くの結果を得るための数学的厳密さと手法を重視しました。現代の仮説検定は、20世紀初頭に開発されたフィッシャー対ネイマン/ピアソンの定式化、手法、用語の矛盾した融合体です。

フィッシャーは「有意性検定」を普及させました。彼は帰無仮説（母集団の頻度分布に対応）と標本を必要としました。彼の（今ではおなじみの）計算によって、帰無仮説を棄却するかどうかが決定されました。有意性検定では対立仮説は用いられなかったため、第2種の誤り（偽陰性）という概念は存在しませんでした。

p値は、研究者が（他の知識に基づいて）将来の実験を修正するか、帰無仮説への信頼を強めるかを判断するのに役立つ、非公式だが客観的な指標として考案されました。 ^{[ 10 ]}仮説検定（およびタイプI/IIの誤り）は、フィッシャーのp値のより客観的な代替としてネイマンとピアソンによって考案され、研究者の行動を決定することを目的としていますが、研究者による帰納的推論を必要としません。 ^{[ 11 ] [ 12 ]}

ネイマンとピアソンはフィッシャーとは異なる問題（彼らはこれを「仮説検定」と呼んだ）を考察した。彼らはまず、2つの単純な仮説（どちらも頻度分布を持つ）を考えた。そして2つの確率を計算し、通常はより高い確率（サンプルを生成した可能性が高い仮説）に関連する仮説を選択した。彼らの手法では常に仮説が選択された。また、この手法では、両方の種類の誤り確率を計算することも可能であった。

フィッシャーとネイマン/ピアソンは激しく衝突した。ネイマン/ピアソンは、自分たちの定式化を有意性検定の一般化の改良版だと考えた（定義づけた論文^{[ 11 ]}は抽象的なものであったが、数学者は数十年にわたってこの理論を一般化し、洗練させてきた^{[ 13 ]}）。フィッシャーは、実験の過程で予期せぬ誤差源のために帰無仮説に関する当初の仮定が疑わしいことが判明することがよくあるため、この定式化は科学研究には適用できないと考えた。彼は、データ収集前に定式化されたモデルに基づいて厳格な棄却/採択の決定を下すことは、科学者が直面するこの一般的なシナリオと相容れず、この方法を科学研究に適用しようとすると大混乱を招くと考えた^{[ 14 ] 。}

フィッシャーとネイマン・ピアソンの間の論争は哲学的な根拠に基づいて行われ、ある哲学者はこれを統計的推論におけるモデルの適切な役割をめぐる論争と特徴づけた。^{[ 15 ]}

その後、様々な出来事が起こりました。ネイマンは1938年にカリフォルニア大学バークレー校の職に就き、ピアソンとの共同研究を解消し、同じ建物にいた論争者たちを分離させました。第二次世界大戦により、論争は中断されました。フィッシャーとネイマンの論争は、1962年にフィッシャーが亡くなったことで（27年間未解決のまま）終結しました。ネイマンは高く評価された弔辞を書きました。^{[ 16 ]}ネイマンの後期の出版物の中には、p値と有意水準が報告されているものもあります。^{[ 17 ]}

帰無仮説有意性検定（NHST）

現代版の仮説検定は、一般的に帰無仮説有意性検定（NHST）^{[ 18 ]}と呼ばれ、フィッシャー法とネイマン・ピアソン法を組み合わせたものです。2000年、レイモンド・S・ニッカーソンは論文の中で、NHSTは（当時）「心理学実験で収集されたデータの分析において、おそらく最も広く用いられてきた方法であり、約70年間そうであった」と述べ、同時に「非常に物議を醸した」ものであったと述べています。^{[ 18 ]}

この融合は、1940年代に始まった統計教科書の執筆者による混乱（フィッシャーの予測通り）から生じたものである^{[ 19 ]}（しかし、例えば信号検出では依然としてネイマン/ピアソンの定式化が用いられている）。大きな概念的相違点や、上記に加え多くの注意点が無視された。ネイマンとピアソンはより強力な用語、より厳密な数学、そしてより一貫した哲学を提供したが、今日の入門統計学で教えられている内容は、彼らのものよりもフィッシャーの方法との類似点が多い^{[ 20 ] 。}

1940年頃、^{[ 19 ]}統計教科書の著者たちは、検定統計量（またはデータ）の代わりにp値を使用して、ネイマン・ピアソンの「有意水準」を検定することで、2つのアプローチを組み合わせ始めました。

フィッシャー派と頻度主義（ネイマン・ピアソン派）の比較

#	フィッシャーの帰無仮説検定	ネイマン・ピアソン意思決定理論
1	統計的帰無仮説を立てます。帰無仮説は必ずしも無仮説（つまり、差がゼロ）である必要はありません。	2つの統計的仮説H1とH2を設定し、実験前に主観的な費用便益に基づいてα、β、およびサンプルサイズを決定します。これにより、各仮説の棄却域が定義されます。
2	有意水準を正確に報告してください（例：p = 0.051 または p = 0.049）。仮説を「受け入れる」または「棄却する」という表現は使用しないでください。結果が「有意ではない」場合は、結論を導き出さず、決定を下すことなく、さらなるデータが得られるまで判断を保留してください。	データがH1の棄却域に該当する場合はH2を受け入れ、該当しない場合はH1を受け入れます。仮説を受け入れるということは、その仮説を信じるということではなく、それが真実であるかのように行動するということだけです。
3	この手順は、手元の問題についてほとんど何もわかっていない場合にのみ使用し、実験状況を理解しようとする試みの中で暫定的な結論を導き出す場合にのみ使用してください。	この手順の有用性は、仮説の論理和が成り立つ場合（たとえば、μ1 = 8 または μ2 = 10 のいずれかが真である）や、アルファとベータを選択する際に意味のある費用対効果のトレードオフを行うことができる場合などに限定されます。

哲学

仮説検定と哲学は交差する。仮説検定を含む推論統計は応用確率である。確率とその応用はどちらも哲学と密接に絡み合っている。哲学者デイヴィッド・ヒュームは「すべての知識は確率に退化する」と記した。確率の実際的な定義が競合するのは、哲学的な相違を反映している。仮説検定の最も一般的な応用は、実験データの科学的解釈であり、これは当然のことながら科学哲学によって研究されている。

フィッシャーとネイマンは確率の主観性に反対した。彼らの見解は客観的な定義に貢献した。彼らの歴史的な意見の相違の核心は哲学的な点にあった。

仮説検定に対する哲学的な批判の多くは、統計学者によって他の文脈で議論されており、特に相関関係が因果関係を意味しないという点や実験計画法などがその例である。仮説検定は哲学者にとって継続的な関心の対象となっている。^{[ 15 ] [ 21 ]}

教育

学校で統計学を教える機会が増えてきており、仮説検定もその要素の一つとなっている。^{[ 22 ] [ 23 ]}世論調査から医学研究まで、一般の新聞で報道される結論の多くは、統計に基づいている。この種の統計分析により、大量のデータを伴う問題について明確に考えることができるようになる、また、そのデータから得られる傾向や推論を効果的に報告できるようになると述べる筆者もいるが、幅広い読者に向けた筆者は用語や概念を正しく使用するために、その分野をしっかりと理解しておく必要があると警告している。^{[ 24 ] [ 25 ]}大学の統計学入門クラスでは、仮説検定にかなり重点が置かれており、おそらく授業の半分を占めるほどである。文学や神学などの分野では、統計分析に基づく知見が得られる（Bible Analyzer を参照）。統計学入門クラスでは、仮説検定を定型的な手法として教える。大学院レベルでも仮説検定は教えられている。統計学者は、優れた統計的検定手順（ z検定、スチューデントのt検定、F検定、カイ2乗検定など）を作成する方法を学びます。統計的仮説検定は統計学の中でも成熟した分野と考えられているが^{[ 26 ]}、限られた範囲の開発が継続されている。

ある学術研究によると、入門統計学の教授法は、歴史、哲学、論争に時間を割く余裕がないという。仮説検定は、統一された一般的な方法として教えられてきた。調査によると、このクラスの卒業生は（統計的推論のあらゆる側面に関する）哲学的な誤解に満ちており、教師の間でもその誤解が根強く残っていた。^{[ 27 ]}この問題は10年以上前に解決されたが^{[ 28 ]}、教育改革を求める声は続いているものの^{[ 29 ]} 、学生は依然として仮説検定に関する根本的な誤解を抱えたまま統計学の授業を卒業している。^{[ 30 ]}仮説検定の指導を改善するためのアイデアとしては、学生に発表された論文の統計的誤りを探すよう促すこと、統計学の歴史を教えること、そして一般的に退屈なテーマである統計学における論争を強調することなどが挙げられる。^{[ 31 ]}

Raymond S. Nickerson 氏は次のようにコメントしています。

NHSTをめぐる論争は、現代のアプローチの基盤となっている推論統計理論の発展に大きく貢献した人々の間で未解決の意見の相違が生じたことに端を発している。ギゲレンツァーら（1989）は、RAフィッシャーとイェジ・ネイマンおよびエゴン・ピアソンの間の論争、そしてこれら両派とトーマス・ベイズの支持者の間の意見の相違を詳細に検討した。彼らは、NHSTを潜在的な利用者に教える際に用いられる教科書のほとんどには、この歴史的かつ現在も続く論争に関する示唆がほとんど見られないという注目すべき事実を指摘した。統計的推論への様々なアプローチの複雑さ、そして時に物議を醸す哲学的基盤に対する正確な歴史的視点と理解の欠如は、統計検定がいかに容易に誤用され、誤解されるかという点を大いに説明するものであろう。^{[ 18 ]}

頻度主義仮説検定の実践

実際に頻度主義仮説検定を実行する際に必要な一般的な手順は次のとおりです。

1. 仮説（データを使用して検証可能な主張）を定義します。
2. 関連する検定統計量Tを持つ適切な統計検定を選択します。
3. 帰無仮説に基づく検定統計量の分布を仮定から導出します。標準的なケースでは、これはよく知られた結果となります。例えば、検定統計量は自由度が既知のスチューデントのt分布に従う場合もあれば、平均と分散が既知の正規分布に従う場合もあります。
4. 有意水準（α）を選択します。これは最大許容偽陽性率です。一般的な値は5%と1%です。
5. 観測値から検定統計量Tの観測値t _obsを計算します。
6. 対立仮説を支持して帰無仮説を棄却するか、棄却しないかを決定する。ネイマン・ピアソンの決定規則は、観測値t _obsが臨界領域内にある場合は帰無仮説H ₀を棄却し、そうでない場合は帰無仮説を棄却しないというものである。^{[ 32 ]}

実例

放射性スーツケースの例に適用された 2 つのプロセスの違い (下記)。

• 「ガイガーカウンターの数値は10です。限度は9です。スーツケースを確認してください。」
• ガイガーカウンターの数値は高くなっています。安全なスーツケースの97%は、この数値より低い数値です。限界値は95%です。スーツケースを確認してください。

前者のレポートは適切ですが、後者はデータとスーツケースがチェックされている理由についてより詳細な説明を提供します。

帰無仮説を棄却しないということは、帰無仮説自体が「受け入れられる」ことを意味するわけではありません (ただし、ネイマンとピアソンは原著論文でその言葉を使用しています。 「解釈」セクションを参照してください)。

ここで説明したプロセスは計算には十分であるが、実験計画法の考慮が著しく無視されている。^{[ 33 ] [ 34 ]}

実験を実施する前に適切なサンプル サイズを見積もることが特に重要です。

「有意差検定」という語句は統計学者ロナルド・フィッシャーによって造られた。^{[ 35 ]}

解釈

帰無仮説が真であり、統計的仮定が満たされている場合、p値が有意水準以下になる確率は最大で である。これにより、仮説検定は指定された偽陽性率を維持することが保証される（統計的仮定が満たされている場合）。^{[ 36 ]}${\displaystyle \alpha}$ ${\displaystyle \alpha}$

p値とは、帰無仮説のもとで、得られた統計量と同程度かそれ以上の極端な検定統計量が発生する確率である。有意水準0.05の場合、公正なコインは平均して20回の検定のうち1回で帰無仮説（公正であるという仮説）を（誤って）棄却すると予想される。p値は、帰無仮説またはその反証が正しい確率を示すものではない（よくある混乱の原因である）。^{[ 37 ]}

p値が選択された有意水準閾値未満の場合（つまり、観測された検定統計量が臨界領域内にある場合）、選択された有意水準において帰無仮説は棄却される。p値が選択された有意水準閾値以上である場合（つまり、観測された検定統計量が臨界領域外にある場合）、選択された有意水準において帰無仮説は棄却されない。

下記の「お茶を味わう女性」の例において、フィッシャーは、結果が偶然の結果である可能性は低いという結論を正当化するために、女性にすべてのお茶を正しく分類するよう要求しました。彼の検定では、女性が事実上ランダムに推測していた場合（帰無仮説）、観察された結果（完璧に整列したお茶）が発生する確率は1.4%であることが明らかになりました。

使用と重要性

統計は、ほとんどのデータ集合の分析に役立ちます。これは仮説検定にも同様に当てはまり、科学的理論が存在しない場合でも結論を正当化できます。お茶を飲んでいた女性の例では、（紅茶にミルクを注いだもの）と（紅茶にミルクを注いだもの）の間に違いがないことは「明白」でした。しかし、データはその「明白」な事実に反していました。

仮説検定の現実世界での応用としては次のようなものがある: ^{[ 38 ]}

• 悪夢に悩まされる男性は女性よりも多いか？
• 文書の著者の確定
• 満月が行動に与える影響の評価
• コウモリがエコーで昆虫を感知できる範囲を決定する
• 病院のカーペットが感染リスクを高めるかどうかを判断する
• 禁煙のための最良の方法を選択する
• バンパーステッカーが自動車所有者の行動を反映しているかどうかを確認する
• 筆跡鑑定士の主張を検証する

統計的仮説検定は、統計学全体、そして統計的推論において重要な役割を果たしています。例えば、レーマン（1992）は、ネイマンとピアソン（1933）の基礎論文のレビューの中で次のように述べています。「1933年の論文で定式化された新しいパラダイムと、その枠組みの中で行われた多くの発展は、欠点はあるものの、統計学の理論と実践の両面において依然として中心的な役割を果たしており、近い将来においてもそうあり続けることが期待されます。」

有意性検定は、一部の実験社会科学において好んで用いられる統計ツールである（1990年代初頭のJournal of Applied Psychology誌の記事の90%以上）。 ^{[ 39 ]}他の分野では、パラメータ（例：効果量）の推定が好まれてきた。有意性検定は、科学的方法の中核を成す、予測値と実験結果の従来の比較の代替として用いられる。理論が関係性の符号しか予測できない場合、統計的に有意な結果のみが理論を支持するように、方向性のある（片側）仮説検定を構成することができる。この形式の理論評価は、仮説検定の最も厳しく批判されている応用である。

注意事項

「もし政府が統計手法に医薬品のような警告ラベルを付けることを義務付ければ、ほとんどの推論手法は確かに長いラベルを付けることになるだろう。」^{[ 40 ]}この注意は仮説検定とその代替検定にも当てはまる。

仮説検定の成功は、確率と第1種誤り率と関連しています。結論は間違っている可能性があります。

試験の結論は、その根拠となるサンプルの質に左右されます。実験の設計は非常に重要です。以下のような予期せぬ効果がいくつか観察されています。

• 賢いハンス効果。馬は簡単な計算ができるように見えました。
• ホーソン効果。工業労働者は照明が良いときの方が生産性が高く、照明が悪いときの方が最も生産性が高かった。
• プラセボ効果。医療的に有効な成分を含まない錠剤が驚くほど効果を発揮した。

誤解を招くデータの統計分析は、誤解を招く結論を導きます。データ品質の問題はより微妙な場合があります。例えば予測においては、予測精度の尺度について合意が得られていません。合意された測定基準がなければ、測定に基づく決定は必ず議論を呼ぶでしょう。

出版バイアス: 統計的に有意でない結果は出版される可能性が低くなり、文献にバイアスが生じる可能性があります。

多重検定：調整なしで複数の真の帰無仮説検定を一度に実施した場合、全体的なタイプIの誤りの確率は名目アルファレベルよりも高くなります。^{[ 41 ]}

仮説検定の結果に基づいて重要な決定を下す人は、結論だけでなく詳細にも目を向けるのが賢明です。物理科学においては、ほとんどの結果は独立して確認された場合にのみ完全に受け入れられます。統計に関する一般的なアドバイスは、「数字は決して嘘をつかないが、嘘つきは数字を言う」（匿名）です。

用語の定義

以下の定義は主にレーマンとロマーノの著書の説明に基づいています。^{[ 36 ]}

• 統計的仮説:母集団(サンプルではない)を記述するパラメータについての記述。
• 検定統計量: 未知のパラメータのないサンプルから計算された値。多くの場合、比較の目的でサンプルを要約するために使用されます。
• 単純仮説: 母集団の分布を完全に指定する仮説。
• 複合仮説:母集団の分布を完全には特定しない仮説。
• 帰無仮説（H ₀）
• 肯定的なデータ: 調査者が帰無仮説を棄却できるようにするデータ。
• 対立仮説（H ₁）

データがN(0,1)分布から実現できると仮定します。例えば、有意水準α = 0.05を選択した場合、Z表から片側臨界値は約1.645となります。片側臨界値C _α ≈ 1.645は、選択した有意水準に対応します。臨界領域[C _α , ∞)は、標準正規分布の裾として実現されます。

• 統計的検定における臨界値とは、検定の許容領域の境界である。 ^{[ 42 ]}許容領域とは、帰無仮説が棄却されない検定統計量の値の集合である。許容領域の形状に応じて、臨界値は1つまたは複数存在する可能性がある。
  • 拒絶部位/臨界領域: 帰無仮説が棄却される検定統計量の値のセット。
• 検定力（1 −  β）
• サイズ：単純仮説の場合、これは帰無仮説を誤って棄却する検定の確率です。偽陽性率。複合仮説の場合、これは帰無仮説がカバーするすべてのケースにおいて帰無仮説を棄却する確率の最大値です。偽陽性率の補数は、生物統計学では特異度と呼ばれます。（「これは特定の検査です。結果が陽性であるため、患者はその病状に罹患していると自信を持って言えます。」）詳細な定義については、感度と特異度、および第I種過誤と第II種過誤を参照してください。
• 検定の有意水準（ α）
• p値
• 統計的有意性検定：統計的仮説検定の前身（「起源」の項を参照）。標本が（帰無）仮説と十分に矛盾する場合、実験結果は統計的に有意。これは、常識、意味のある実験結果を特定するための実用的なヒューリスティック、統計的証拠の閾値を確立する慣習、データから結論を導き出す方法など、様々な解釈がなされてきた。統計的仮説検定は、対立仮説を明確にすることで、この概念に数学的な厳密さと哲学的な一貫性を加えた。この用語は、現在では統計的仮説検定の一部となっている現代版を指すために広く使用されている。
• 保守的検定: 特定の名義有意水準で構築された場合、帰無仮説を誤って棄却する真の確率が名義水準よりも大きくなることがない場合は、検定は保守的です。
• 正確なテスト

統計的仮説検定は、検定統計量（例えばzやt）を閾値と比較します。検定統計量（以下の表に示す式）は最適性に基づいています。タイプIの誤り率が一定レベルの場合、これらの統計量を用いることでタイプIIの誤り率が最小化されます（検出力の最大化に相当）。以下の用語は、このような最適性の観点から検定を説明するものです。

• 最も強力な検定: 特定のサイズまたは有意水準において、対立仮説に含まれる検定対象のパラメータの特定の値に対する検出力 (棄却確率) が最も高い検定。
• 均一に最も強力なテスト（UMP）

ノンパラメトリックブートストラップ仮説検定

ブートストラップ法に基づく再標本抽出法は、帰無仮説検定に用いることができる。ブートストラップ法は、帰無仮説が正しいと仮定し、元の統合標本データをランダムに再標本抽出（復元抽出）することで、多数の模擬標本を作成する。ブートストラップ法は分布に依存しないため、また、制限的なパラメトリック仮定に依存せず、漸近的な保証を伴う経験的近似法に基づくため、非常に汎用性が高い。従来のパラメトリック仮説検定は計算効率が高いが、より強い構造的仮定に基づく。帰無仮説に基づく検定統計量の確率を計算することが困難または不可能な場合（不便さや分布に関する知識不足などにより）、ブートストラップ法は統計的推論のための有効な手法となる。^{[ 43 ] [ 44 ] [ 45 ] [ 46 ]}

例

人間の性比

統計的仮説検定の最も初期の使用は、一般的に、男児と女児の出生確率が等しいかどうか（帰無仮説）という問題であるとされており、この問題は1700年代にジョン・アーバスノット（1710）^{[ 47 ]}によって、その後ピエール・シモン・ラプラス（1770年代）によって取り上げられました^{[ 48 ] 。}

アーバスノットは、1629年から1710年までの82年間のロンドンの出生記録を調べ、符号検定という単純なノンパラメトリック検定を適用した。^{[ 49 ] [ 50 ] [ 51 ]}毎年、ロンドンで生まれた男性の数は女性の数を上回っていた。男性の出生数が多いか女性の出生数が多いかが同じ確率であるとすると、観察された結果の確率は 0.5 ⁸²、つまり約 4,836,000,000,000,000,000,000,000 分の 1 となり、現代の言葉で言えば、これがp値である。アーバスノットは、この値は偶然にしては小さすぎるため、神の摂理によるに違いないと結論付けた。「このことから、支配するのは偶然ではなく、技であることがわかる」。現代の言葉で言えば、彼はp  = 1/2 ^{82 の}有意水準 で、男性と女性の出生数が等しい確率であるという帰無仮説を棄却した。

ラプラスは約50万件の出生統計を検討した。統計は、男児が女児よりも過剰であることを示した。^{[ 5 ]}彼はp値を計算することにより、この過剰は現実のものだが説明できない効果であると結論付けた。^{[ 52 ]}

お茶を味わう女性

有名な仮説検定の例として「お茶を味わう貴婦人」^{[ 53 ]}が挙げられます。フィッシャーの同僚であるミュリエル・ブリストル博士は、カップに紅茶とミルクのどちらが先に入れられたかがわかると主張しました。フィッシャーは、彼女に各種類を4杯ずつ、計8杯のカップをランダムな順序で渡すことを提案しました。すると、彼女が正解した数が偶然である確率はどれくらいか、という疑問が浮かびます。帰無仮説は、貴婦人にはそのような能力はない、というものでした。検定統計量は、4杯を選ぶ際の成功回数を単純に数えました。臨界領域は、従来の確率基準 (< 5%) に基づくと4回成功という唯一のケースでした。4回成功するパターンは、70通りの組み合わせのうちの1つ (p≈ 1.4%) に相当します。フィッシャーは、対立仮説は（決して）必要ないと主張しました。貴婦人はすべてのカップを正しく識別し、^{[ 54 ]}それは統計的に有意な結果と考えられます。

法廷での裁判

統計的検定手続きは刑事裁判に似ています。被告人は、有罪が証明されない限り無罪とみなされます。検察官は被告人の有罪を立証しようとします。そして、十分な証拠が揃った場合にのみ、被告人は有罪判決を受けます。

手続きの開始時には、「被告人は無罪である」と「被告人は有罪である」という2つの仮説があります。最初の仮説は帰無仮説と呼ばれます。2番目の仮説は対立仮説と呼ばれます。対立仮説は、支持したいと期待される対立仮説です。 ${\displaystyle H_{0}}$ ${\displaystyle H_{1}}$ ${\displaystyle H_{0}}$ ${\displaystyle H_{1}}$

無罪の仮説は、誤りの可能性が非常に低い場合にのみ棄却されます。なぜなら、無実の被告人を有罪としたくないからです。このような誤りは第一種の誤り（すなわち、無実の人物を有罪とする誤り）と呼ばれ、この誤りの発生は稀になるように制御されています。この非対称的な行動の結果として、第二種の誤り（犯罪を犯した人物を無罪とする誤り）の方が一般的です。

	H 0は真実です。本当に無罪です。	H 1は真実です。本当に有罪です。
帰無仮説を棄却しない無罪	正しい決断	誤った判断タイプIIエラー
帰無仮説を棄却する確信	誤った判断タイプIエラー	正しい決断

刑事裁判は、有罪か無罪か、あるいは証拠か閾値（「合理的な疑いの余地がない」）かという2つの判断プロセスのいずれか、あるいは両方として捉えることができます。一方の視点では被告人が判断され、もう一方の視点では（立証責任を負う）検察側の行為が判断されます。仮説検定は、仮説の判断、あるいは証拠の判断のいずれかとして捉えることができます。

千里眼カードゲーム

ある人物（被験者）が透視能力のテストを受けます。被験者はランダムに選ばれたトランプの裏面を25回見せられ、4つのスートのうちどのスートに属するかを尋ねられます。的中した回数、つまり正解回数をXとします。

彼らの透視能力の証拠を見つけようとすると、当面の帰無仮説はその人が透視能力を持っていないということである。^{[ 55 ]}代替仮説は、その人が（多かれ少なかれ）透視能力を持っているということである。

帰無仮説が正しい場合、被験者は推測するしかありません。すべてのカードにおいて、特定のスートが出現する確率（相対頻度）は1/4です。対立仮説が正しい場合、被験者は1/4を超える確率でスートを正しく予測します。正しく予測する確率をpとします。この場合、仮説は以下のようになります。

• 帰無仮説     （単なる推測）${\displaystyle {\text{:}}\qquad H_{0}:p={\tfrac {1}{4}}}$

そして

• 対立仮説    （真の千里眼者）。${\displaystyle {\text{:}}H_{1}:p>{\tfrac {1}{4}}}$

被験者が 25 枚のカードすべてを正しく予測した場合、彼らを千里眼と見なし、帰無仮説を棄却します。ヒット数が 24 または 23 の場合も同様です。一方、ヒット数が 5 または 6 の場合、そう見なす理由はありません。では、ヒット数が 12 または 17 の場合はどうでしょうか。被験者が千里眼を持っていると見なす、ヒット数の臨界値cはいくつでしょうか。臨界値cはどのように決定するのでしょうか。 c =25 (つまり、カードがすべて正しく予測された場合にのみ千里眼を受け入れる) を選択した場合、c =10 の場合よりも臨界値が高くなります。前者の場合、千里眼であると認識される被験者はほとんどいませんが、後者の場合は、一定数の被験者がテストに合格します。実際には、どの程度臨界値にするかを決定します。つまり、第 1 種のエラー (偽陽性、つまりタイプ I のエラー) をどのくらいの頻度で受け入れるかを決定します。 c = 25の場合、このようなエラーが発生する確率は次のようになります。

${\displaystyle P({\text{reject }}H_{0}\mid H_{0}{\text{ is valid}})=P\left(X=25\mid p={\frac {1}{4}}\right)=\left({\frac {1}{4}}\right)^{25}\approx 10^{-15}}$ 、

したがって、非常に小さいです。偽陽性の確率は、ランダムに25回すべて正しく推測する確率です。

あまり重要でないc = 10 の場合は次のようになります。

${\displaystyle P({\text{reject }}H_{0}\mid H_{0}{\text{ is valid}})=P\left(X\geq 10\mid p={\frac {1}{4}}\right)=\sum _{k=10}^{25}P\left(X=k\mid p={\frac {1}{4}}\right)=\sum _{k=10}^{25}{\binom {25}{k}}\left(1-{\frac {1}{4}}\right)^{25-k}\left({\frac {1}{4}}\right)^{k}\approx 0.0713}$ 。

したがって、c = 10 では偽陽性の確率が大幅に高くなります。

実際にテストを実行する前に、タイプIの誤りの最大許容確率（α）が決定されます。通常、1%から5%の範囲の値が選ばれます。（最大許容誤り率がゼロの場合、正しい推測の数は無限になります。）このタイプIの誤り率に応じて、臨界値cが計算されます。例えば、誤り率を1%とした場合、cは次のように計算されます。

${\displaystyle P({\text{reject }}H_{0}\mid H_{0}{\text{ is valid}})=P\left(X\geq c\mid p={\frac {1}{4}}\right)\leq 0.01}$ 。

この性質を持つすべての数値 c の中から、タイプ II の誤り（偽陰性）の確率を最小化するために、最小のものを選択します。上記の例では、次のように選択します。 ${\displaystyle c=13}$

バリエーションとサブクラス

統計的仮説検定は頻度論的推論とベイズ推論の両方の重要な手法ですが、これら2種類の推論には顕著な違いがあります。統計的仮説検定は、デフォルトの立場（帰無仮説）が間違っていると誤って判断する確率を制御（固定）する手順を定義します。この手順は、帰無仮説が正しい場合に一連の観測値が発生する可能性に基づいています。この誤った判断を行う確率は、帰無仮説が正しい確率でも、特定の対立仮説が正しいかどうかの確率でもありません。これは、帰無仮説と対立仮説がより平等に扱われる 意思決定理論の他の手法とは対照的です。

仮説検定に対するナイーブなベイズ的アプローチの 1 つは事後確率に基づいて決定を下すことであるが、^{[ 56 ] [ 57 ]}この方法は点仮説と連続仮説を比較する場合にはうまくいかない。ベイズ決定理論などの意思決定に対する他のアプローチでは、単一の帰無仮説に集中するのではなく、あらゆる可能性にわたって誤った決定の結果のバランスを取ろうとする。データに基づいて決定を下す他のアプローチは、決定理論と最適決定を通じて利用可能であり、そのいくつかは望ましい特性を持っている。しかし、仮説検定は多くの科学分野でデータ分析に対する主要なアプローチである。仮説検定理論の拡張には検定力の研究、すなわち帰無仮説が偽である場合にそれを正しく棄却する確率の研究が含まれる。このような考慮はデータ収集前の サンプルサイズ決定の目的で使用できる。

ネイマン・ピアソン仮説検定

ネイマン・ピアソン仮説検定（または帰無仮説の統計的有意性検定）の例は、放射性スーツケースの例を変更することで作成できます。「スーツケース」が実際には放射性物質を輸送するための遮蔽容器である場合、3つの仮説（放射性源が存在しない、1つ存在する、2つ（すべて）存在する）から選択するための検定が使用される可能性があります。この検定は安全性のために必須であり、それぞれのケースで必要な措置が講じられる可能性があります。ネイマン・ピアソン仮説検定の補題によれば、仮説を選択するための適切な基準は、それらの確率の比（尤度比）です。簡単な方法は、観測されたガイガーカウントに対して最も高い確率を持つ仮説を選択することです。典型的な結果は直感と一致します。カウント数が少ない場合は放射性源が存在しないことを、カウント数が多い場合は2つの放射性源が存在することを、中程度のカウント数の場合は1つの放射性源が存在することを示唆します。また、通常、否定の を証明することは困難であることにも注意してください。帰無仮説は、少なくとも反証可能である必要があります。

ネイマン・ピアソン理論は、事前確率と、意思決定から生じる行動のコストの両方を考慮することができる。^{[ 58 ]}前者は、各検定において以前の検定結果を考慮に入れることができる（フィッシャーの有意性検定とは異なり）。後者は、確率だけでなく、例えば経済的な問題も考慮に入れることができる。尤度比は、仮説を選択するための優れた基準であり続けている。

仮説検定の 2 つの形式は、異なる問題の定式化に基づいています。元の検定は、真偽の質問に似ていますが、ネイマン - ピアソン検定は、多肢選択に似ています。Tukey ^[ 59 ^{]の見解では、}前者は強力な証拠のみに基づいて結論を導き出すのに対し、後者は利用可能な証拠に基づいて決定を導き出します。この 2 つの検定は、数学的にも哲学的にもかなり異なっているように見えますが、後の展開により逆の主張に至っています。多数の微小な放射性源を考えてみましょう。仮説は、放射性砂 0、1、2、3 粒になります。放射能がまったくないか多少ある場合 (フィッシャー) と、放射性砂 0 粒に対してすべての選択肢がある場合 (ネイマン - ピアソン) の間にはほとんど違いはありません。1933 年の主要ネイマン - ピアソン論文^{[ 11 ]}では、複合仮説 (分布に未知のパラメータが含まれる仮説) も検討されています。ある例では、（スチューデントの）t検定の最適性が証明されており、「検討中の仮説に対してこれより優れた検定法は存在しない」（p 321）。ネイマン・ピアソン理論は、その誕生当初からフィッシャー法の最適性を証明していた。

フィッシャーの有意性検定は、応用面では広く普及した柔軟な統計ツールであることが証明されているが、数学的な発展の可能性は小さい。ネイマン・ピアソン仮説検定は数理統計学の柱とされ、^{[ 60 ]}この分野に新たなパラダイムを生み出した。また、統計的プロセス制御、検出理論、意思決定理論、ゲーム理論における新たな応用を刺激した。どちらの定式化も成功を収めているが、その成功はそれぞれ異なる性質のものである。

定式化をめぐる論争は未解決である。科学では主に、入門統計学で教えられるフィッシャーの（若干修正された）定式化が用いられている。統計学者は大学院でネイマン・ピアソン理論を学ぶ。数学者はこれらの定式化を統合したことを誇りに思う。哲学者はこれらを別々に考察する。学識のある意見では、これらの定式化は競合関係（フィッシャー対ネイマン）、両立しない関係^{[ 9 ] 、補完的関係[ 13 ]}など様々である。ベイズ推論が認められるようになって以来、この論争はより複雑になっている。

用語に一貫性がありません。仮説検定とは、時間の経過とともに変化する2つの定式を組み合わせたものを意味します。有意性検定と仮説検定の議論は、二重に混乱を招きやすいものです。

フィッシャーは、仮説検定は工業品質管理を行う上で有用な戦略だと考えていたが、科学者にとって仮説検定が有用であるという意見には強く反対した。^{[ 10 ]} 仮説検定は、有意性検定で用いられる検定統計量を求める手段を提供する。^{[ 13 ]}検出力の概念は、有意水準を調整することの結果を説明するのに役立ち、サンプルサイズの決定に多用されている。この2つの方法は、哲学的には異なるままである。^{[ 15 ]}それらは通常（常にではないが）同じ数学的答えを生み出す。好ましい答えは状況に依存する。^{[ 13 ]}フィッシャー理論とネイマン・ピアソン理論の既存の融合は激しく批判されてきたが、ベイズ統計量の目標を達成するためにこの融合を修正することが検討されてきた。^{[ 61 ]}

批判

統計的仮説検定に対する批判の多​​くは、次のような問題に要約できます。

• p値の解釈は、停止規則と多重比較の定義に依存します。前者は研究の過程でしばしば変化し、後者は不可避的に曖昧です。（つまり、「p値は、観察された（データ）と、観察されたかもしれないが観察されなかった可能性のある（データ）の両方に依存する」ということです。）^{[ 62 ]}
• 概念的に異なるフィッシャーとネイマン・ピアソンの方法を組み合わせたことから（部分的に）生じた混乱。^{[ 59 ]}
• 繰り返しの実験による推定や確認を排除し、統計的有意性に重点を置く。^{[ 63 ]}
• 統計的有意性を出版基準として厳格に要求することで、出版バイアスが生じる。^{[ 64 ]}批判のほとんどは間接的なものである。統計的仮説検定は間違っているというより、誤解され、過剰に使用され、誤用されている。
• グループ間の差異の有無を検出するために用いる場合、パラドックスが生じる。実験設計が改善されるにつれて（例えば、測定精度やサンプルサイズの増加）、検定はより緩やかになる。データ内のノイズ源がすべて完全に打ち消されるという不合理な仮定を受け入れない限り、どちらの方向でも統計的有意性を見出す確率は100%に近づく。^{[ 65 ]}しかし、2つのグループ間の平均差がゼロになることはあり得ないというこの不合理な仮定は、IIDランダム変量の任意の2つのサブグループ間の期待差がゼロであるため、データが独立かつ同一に分布する（IID）ことはあり得ないことを意味する。したがって、IID仮定もまた不合理である。
• 哲学的懸念の層。統計的有意性の確率は、実験者／分析者の決定の関数である。^{[ 66 ]}決定が慣習に基づく場合、それは恣意的または無思慮であると言われる。 ^{[ 67 ]}一方、そうでない場合は主観的であると言える。第2種の誤りを最小限に抑えるためには、大規模なサンプルが推奨される。心理学では、十分に大きなサンプルに対しては、事実上すべての帰無仮説が誤りであると主張されるため、「帰無仮説を棄却することのみを目的として実験を行うことは通常無意味である」。[ ^{68 ]心理}学では、「統計的に有意な結果はしばしば誤解を招く」。^{[ 69 ]}統計的有意性は実際的有意性を意味するものではなく、相関関係は因果関係を意味するものではない。したがって、帰無仮説に疑問を投げかけることは、研究仮説を直接支持することからは程遠い。
• 「私たちが知りたいことは何も書かれていない」^{[ 70 ]} 。数十件の苦情のリストが公開されている。^{[ 71 ] [ 18 ] [ 72 ]}

批判者と支持者は、帰無仮説有意性検定（NHST）の特性に関して、事実上ほぼ一致している。NHSTは重要な情報を提供できるものの、統計分析の唯一のツールとしては不十分である。帰無仮説を棄却できたとしても、研究仮説を裏付ける根拠が何もない可能性がある。継続的な論争は、既存の統計手法を前提として、近い将来に最適な統計手法を選択することに関するものである。しかし、適切な研究デザインによってこの問題を最小限に抑えることができる。批判者はNHSTを完全に禁止し、それらの手法からの完全な離脱を強いることを好むが^{[ 73 ]} 、支持者はそれほど絶対的な変化ではないことを示唆している。

有意性検定、特に出版バイアスへの影響をめぐる論争は、いくつかの結果を生み出している。アメリカ心理学会は検討を経て統計報告要件を強化し、^{[ 74 ]}医学雑誌の出版社は出版バイアスに対抗するために統計的に有意ではない結果も公表する義務を認め、^{[ 75 ]}そうした結果だけを公表する雑誌（Journal of Articles in Support of the Null Hypothesis）が創刊された。^{[ 76 ]}教科書にはいくつかの注意事項が追加され、^{[ 77 ]}有意な結果を生み出すために必要なサンプルサイズを推定するために必要なツールの扱いが増えた。有意性検定の使用を放棄した主要組織はほとんどないが、そうすることを検討した組織もある。^{[ 74 ]}例えば、2023年にJournal of Physiologyの編集者は「同誌に論文を発表する者には推定手法の使用を強く推奨する」（効果量の大きさ（読者が知見が実用的、生理学的、臨床的関連性があるかどうかを判断できるようにする）と、その推定値の精度を伝える信頼区間を意味する）と述べ、「最終的には、Journal of Physiologyに論文を発表する者が最も懸念すべきは、統計的有意性ではなく、データの生理学的重要性である」と述べている。^{[ 78 ]}

P値はランダム変数である。^{[ 79 ]}したがって、統計的検定の決定はランダム変数であり、その安定性を理解するために、以下のようなアプローチが提案されている。

• 「再現確率」をブートストラップする。^{[ 80 ]}
• p値の標本分布のブートストラップ^{[ 81 ]}

代替案

批評家の統一的な立場は、統計は受け入れか拒否かの結論や決定ではなく、区間推定による推定値に導くべきであるというものである。このデータ分析哲学は、広く推定統計と呼ばれている。推定統計は、頻度主義^{[ 82 ]またはベイズ法[ 83 ] [ 84 ]}のいずれかの方法で行うことができる。

有意性検定の批判者は、推論の根拠としてp値ではなく、効果量の重要性に関する信頼区間、信頼性に関する予測区間、再現性に関する反復と拡張、一般性に関するメタアナリシスを重視すべきだと主張してきた。^{[ 85 ]}しかし、これらの提案された代替案はどれも本質的に決定を導き出すものではない。レーマンは、仮説検定理論は結論／決定、確率、または信頼区間という観点から提示できると述べている。「…アプローチの違いは、主に報告と解釈の違いである。」^{[ 26 ]}

ベイズ推論は、有意性検定の代替として提案されている手法の一つである（Nickersonは、Rozeboom (1960)を含む10の文献を引用している）。^{[ 18 ]}例えば、ベイズパラメータ推定は、十分なデータが利用可能な場合には結果に最小限の影響しか及ぼさない不確実な事前分布を用いながら、研究者が推論を導き出すためのデータに関する豊富な情報を提供することができる。心理学者のJohn K. Kruschkeは、 t検定の代替としてベイズ推定を提案し^{[ 83 ]}、帰無値を評価するためのベイズ推定と仮説検定のためのベイズモデル比較を対比させている。^{[ 84 ]} 2つの競合するモデル／仮説は、ベイズ因子を用いて比較することができる。^{[ 86 ]}ベイズ法は、有意性検定が最も頻繁に用いられる場合にはほとんど入手できない情報を必要とするという批判を受ける可能性がある。社会科学においては、対立仮説における検定統計量の事前確率も確率分布も、しばしば入手できない。^{[ 18 ]}

ベイズ的アプローチの支持者は、研究者の目標は収集したデータに基づいて仮説が真である確率を客観的に評価することであると主張することがある。 ^{[ 87 ] [ 88 ]}フィッシャーの有意性検定も ネイマン・ピアソン仮説検定もこの情報は提供できず、提供しようともしていない。仮説が真である確率はベイズの定理を使用することでのみ導き出すことができるが、ベイズの定理は事前確率という形で主観性を明示的に使用しているため、フィッシャー陣営とネイマン・ピアソン陣営の双方にとって満足のいくものではなかった。^{[ 11 ] [ 89 ]}フィッシャーの戦略は、p値（データのみに基づく客観的な指標）に続いて帰納的推論を行うことでこれを回避することであり、ネイマン・ピアソンは帰納的行動のアプローチを考案した。

参照

• 統計
• ベーレンス・フィッシャー問題
• ブートストラッピング（統計）
• コインが公平かどうかを確認する
• 資産調査の決定木の比較
• 完全な空間的ランダム性
• カウンターヌル
• 反証可能性
• 独立した有意性検定を組み合わせるフィッシャー法
• グレンジャー因果律
• 他の場所を見る効果
• 修正可能な面積単位の問題
• 修正可能な時間単位の問題
• 多変量仮説検定
• オムニバステスト
• 二分法的な思考
• ほぼ確実な仮説検定
• 赤池情報量基準
• ベイズ情報量基準
• E値

参考文献

1. ルイス、ナンシー・D.、ルイス、ナイジェル・ダ・コスタ、ルイス、ND (2013). Rで学ぶ100の統計検定：何を選べばいいのか、どのように簡単に計算できるのか、300以上の図解と例文付き。ヘザー・ヒルズ・プレス。ISBN 978-1-4840-5299-0。
2. Kanji, Gopal K. (2006年7月18日). 100 Statistical Tests . SAGE. ISBN 978-1-4462-2250-8。
3. Bellhouse, P. (2001)、「John Arbuthnot」、C.C. HeydeとE. Seneta著『Statisticians of the Centuries』、Springer、pp.  39– 42、ISBN 978-0-387-95329-8
4. Meehl, P (1990). 「理論の評価と修正：ラカトス防衛の戦略とそれを正当化する二つの原則」（PDF） .心理学的探究. 1 (2): 108– 141. doi : 10.1207/s15327965pli0102_1 .
5. ラプラス、P. (1778)。「確率の記憶」。パリ王立科学アカデミーの回想録: 227–332。Laplace、P. (1878–1912)に再版されました。 「確率に関する記憶 (XIX, XX)」。ラプラスの全作品。 Vol. 9. ゴティエ・ヴィラール。383–488ページ 。英語翻訳: Laplace, P. (2010 年 8 月 21 日)。「確率に関するメモワール」(PDF)。 Pulskam、Richard J による翻訳。2015年 4 月 27 日のオリジナル(PDF)からアーカイブ。
6. ピアソン、K (1900). 「相関変数システムの場合における、確率からの偏差の与えられたシステムが、ランダムサンプリングから生じたと合理的に想定できるという基準について」(PDF) .ロンドン、エディンバラ、ダブリン哲学雑誌・科学ジャーナル. 5 (50): 157– 175. doi : 10.1080/14786440009463897 .
7. ピアソン、K. (1904). 「偶然性理論と連想および正規相関との関係について」 .ドレイパーズ社研究メモワール バイオメトリックシリーズ. 1 : 1– 35.
8. Zabell, S (1989). 「RAフィッシャーによる逆確率の歴史」 .統計科学. 4 (3): 247– 256. doi : 10.1214/ss/1177012488 . JSTOR 2245634 . 
9. Raymond Hubbard, MJ Bayarri , P値は誤り確率ではない（Wayback Machineに2013年9月4日アーカイブ） フィッシャーの証拠p値とネイマン・ピアソンのタイプI誤り率の違いを説明するワーキングペーパー。${\displaystyle \alpha }$
10. フィッシャー, R. (1955). 「統計的手法と科学的帰納法」(PDF) .王立統計学会誌, シリーズB. 17 ( 1): 69– 78. doi : 10.1111/j.2517-6161.1955.tb00180.x .
11. ネイマン, J; ピアソン, ES (1933年1月1日). 「統計的仮説の最も効率的な検定の問題について」 .王立協会哲学論文集 A. 231 ( 694–706 ) : 289–337 . Bibcode : 1933RSPTA.231..289N . doi : 10.1098/rsta.1933.0009 .
12. Goodman, SN (1999年6月15日). 「エビデンスに基づく医療統計に向けて. 1: P値の誤り」. Ann Intern Med . 130 (12): 995–1004 . doi : 10.7326/0003-4819-130-12-199906150-00008 . PMID 10383371. S2CID 7534212 .  
13. Lehmann, EL (1993年12月). 「フィッシャー、ネイマン、ピアソン仮説検定理論：1つの理論か2つの理論か？」アメリカ統計学会誌. 88 (424): 1242– 1249. Bibcode : 1993JASA...88.1242L . doi : 10.1080/01621459.1993.10476404 .
14. フィッシャー, RN (1958). 「確率の本質」(PDF) .センテニアル・レビュー. 2 : 261– 274.高度な訓練を受け、非常に知的な若者を、誤った数字の表を脇に抱え、本来頭脳があるべき場所に濃い霧を垂らした状態で世に送り出すという、極めて危険な状況に陥っている。もちろん、今世紀においては、彼らは誘導ミサイルの開発に携わり、医療関係者に疾病対策の助言を行うだろう。そして、彼らがあらゆる国家の努力を妨害する可能性には限りがない。
15. レンハード、ヨハネス (2006). 「モデルと統計的推論：フィッシャーとネイマン＝ピアソンの論争」. Br. J. Philos. Sci . 57 : 69–91 . doi : 10.1093/bjps/axi152 . S2CID 14136146 . 
16. Neyman, Jerzy (1967). 「RA Fisher (1890—1962): An Appreciation」. Science . 156 (3781): 1456– 1460. Bibcode : 1967Sci...156.1456N . doi : 10.1126 / science.156.3781.1456 . PMID 17741062. S2CID 44708120 .  
17. Losavich, JL; Neyman, J.; Scott, EL; Wells, MA (1971). 「ホワイトトップ実験におけるクラウドシーディングの見かけ上の負の影響に関する仮説的説明」 . Proceedings of the National Academy of Sciences of the United States of America . 68 (11): 2643– 2646. Bibcode : 1971PNAS...68.2643L . doi : 10.1073/ pnas.68.11.2643 . PMC 389491. PMID 16591951 .  
18. Nickerson, Raymond S. (2000). 「帰無仮説有意性検定：古くから続く論争のレビュー」（PDF） . Psychological Methods . 5 (2): 241– 301. doi : 10.1037/1082-989X.5.2.241 . PMID 10937333. S2CID 28340967. 2000年2月23日時点のオリジナルよりアーカイブ。  
19. Halpin, PF; Stam, HJ (2006年冬). 「帰納的推論か帰納的行動か：フィッシャーとネイマン：心理学研究における統計的検定へのピアソンアプローチ（1940–1960年）」.アメリカ心理学会誌. 119 (4): 625– 653. doi : 10.2307/20445367 . JSTOR 20445367. PMID 17286092 .  
20. ギーゲレンツァー、ゲルト、ゼノ・スワイティンク、セオドア・ポーター、ロレイン・ダストン、ジョン・ビーティ、ローレンツ・クルーガー (1989). 「第3部：推論の専門家たち」『偶然の帝国：確率は科学と日常生活をいかに変えたか』ケンブリッジ大学出版局. pp.  70– 122. ISBN 978-0-521-39838-1。
21. Mayo, DG; Spanos, A. (2006). 「ネイマン＝ピアソン帰納法哲学における基本概念としての厳密なテスト」.英国科学哲学ジャーナル. 57 (2): 323– 357. CiteSeerX 10.1.1.130.8131 . doi : 10.1093/bjps/axl003 . S2CID 7176653 .  
22. 数学 > 高校：統計と確率 > はじめに 2012年7月28日アーカイブ、 archive.today Common Core State Standards Initiative（米国の生徒に関連）
23. College Board Tests > AP: Subjects > Statistics The College Board (米国の学生に関連)
24. ハフ、ダレル (1993).統計で嘘をつく方法. ニューヨーク: ノートン. p.  8. ISBN 978-0-393-31072-6。「社会経済の動向、景気動向、世論調査、国勢調査といった膨大なデータを報道するには、統計手法と統計用語が不可欠です。しかし、言葉を誠実に使う記者と、その意味を理解する読者がいなければ、結果は意味不明なナンセンスにしかならないでしょう。」
25. Snedecor, George W.; Cochran, William G. (1967).統計手法（第6版）エイムズ、アイオワ：アイオワ州立大学出版局. p. 3.「...統計学の基本的な考え方は、問題について明確に考えるのに役立ち、健全な推論を行うために満たさなければならない条件についての指針を提供し、十分な論理的根拠のない多くの推論を検出できるようにします。」
26. E. L. Lehmann (1997). 「統計的仮説の検証：ある本の物語」 .統計科学. 12 (1): 48– 52. doi : 10.1214/ss/1029963261 .
27. Sotos, Ana Elisa Castro; Vanhoof, Stijn; Noortgate, Wim Van den; Onghena, Patrick (2007). 「統計的推論に関する学生の誤解：統計教育研究における実証的証拠のレビュー」（PDF） .教育研究レビュー. 2 (2): 98– 113. doi : 10.1016/j.edurev.2007.04.001 .
28. Moore, David S. (1997). 「新しい教育法と新しい内容：統計学の事例」(PDF) . International Statistical Review . 65 (2): 123– 165. doi : 10.2307/1403333 . JSTOR 1403333 . 
29. ハバード、レイモンド；アームストロング、J. スコット(2006). 「なぜ統計的有意性の意味を私たちは本当に理解していないのか：教育者への示唆」.マーケティング教育ジャーナル. 28 (2): 114– 120. doi : 10.1177/0273475306288399 . hdl : 2092/413 . S2CID 34729227 . 
30. Sotos, Ana Elisa Castro; Vanhoof, Stijn; Noortgate, Wim Van den; Onghena, Patrick (2009). 「学生は仮説検定に関する誤解にどの程度自信を持っているか？」 . Journal of Statistics Education . 17 (2). doi : 10.1080/10691898.2009.11889514 .
31. ギゲレンツァー, G. (2004). 「ヌル・リチュアル：有意な検定についてずっと知りたかったけれど、聞くのが怖かったこと」(PDF) . SAGE社会科学のための定量的手法ハンドブック. pp.  391– 408. doi : 10.4135/9781412986311 . ISBN 9780761923596。
32. 「統計的仮説の検定」 . Springer Texts in Statistics . 2005. doi : 10.1007/0-387-27605-x . ISBN 978-0-387-98864-1. ISSN  1431-875X .
33. ヒンケルマン、クラウス、ケンプソーン、オスカー(2008). 『実験のデザインと分析』 第1巻と第2巻（第2版）. Wiley. ISBN 978-0-470-38551-7。
34. モンゴメリー、ダグラス (2009).実験のデザインと分析. ホーボーケン、ニュージャージー州: Wiley. ISBN 978-0-470-12866-4。
35. RAフィッシャー（1925年）『研究者のための統計手法』エディンバラ：オリバー＆ボイド社、1925年、43ページ。
36. エルマン、リーマン;ロマーノ、ジョセフ P. (2005)。統計的仮説の検定(第 3E 版)。ニューヨーク：スプリンガー。ISBN 978-0-387-98864-1。
37. Nuzzo, Regina (2014). 「科学的方法：統計的誤差」 . Nature . 506 (7487): 150– 152. Bibcode : 2014Natur.506..150N . doi : 10.1038/506150a . hdl : 11573/685222 . PMID 24522584 . 
38. リチャード・J・ラーセン、ドナ・フォックス・ストループ（1976年）『現実世界の統計：事例集』マクミラン社、ISBN 978-0023677205。
39. Hubbard, R.; Parsa, AR; Luthy, MR (1997). 「心理学における統計的有意性検定の普及：応用心理学ジャーナルの事例」.理論と心理学. 7 (4): 545– 554. doi : 10.1177/0959354397074006 . S2CID 145576828 . 
40. ムーア、デイビッド（2003年）『統計実践入門』ニューヨーク：WHフリーマン社、p.426、ISBN 9780716796572。
41. Ranganathan, Priya; Pramesh, C. S; Buyse, Marc (2016年4～6月). 「統計分析におけるよくある落とし穴：多重検定の危険性」 . Perspect Clin Res . 7 (2): 106– 107. doi : 10.4103/2229-3485.179436 . PMC 4840791. PMID 27141478 .  
42. ,アン・J.; グラウォイグ, デニス・E. (1971). 『統計学：分析の基礎』 マサチューセッツ州レディング: アディソン・ウェスレー. p.  191. ISBN 0-201-03021-7。
43. Hall, P. and Wilson, SR, 1991.「ブートストラップ仮説検定のための2つのガイドライン」バイオメトリクス、pp.757-762。
44. Tibshirani, RJおよびEfron, B., 1993.「ブートストラップ入門」統計学および応用確率論モノグラフ、57(1)。
45. Martin, MA, 2007. 一般的な統計問題に対するブートストラップ仮説検定：サイズと検出力特性の批判的評価. 計算統計とデータ分析, 51(12), pp.6321-6342.
46. Horowitz, JL, 2019. 計量経済学におけるブートストラップ法。Annual Review of Economics, 11, pp.193-224. 私は
47. ジョン・アーバスノット (1710). 「男女の出生に見られる一定の規則性からみた神の摂理の論拠」(PDF) .ロンドン王立協会哲学紀要. 27 ( 325–336 ): 186–190 . doi : 10.1098 /rstl.1710.0011 . S2CID 186209819 . 
48. ブライアン・エリック、ジェイソン・マリー (2007). 「物理神学と数学 (1710–1794)」.出生時における人間の性比の変遷. シュプリンガー・サイエンス＆ビジネス・メディア. pp.  1–25 . ISBN 978-1-4020-6036-6。
49. Conover, WJ (1999)、「第3.4章 符号検定」、実用ノンパラメトリック統計（第3版）、Wiley、pp.  157– 176、ISBN 978-0-471-16068-7
50. Sprent, P. (1989)、応用ノンパラメトリック統計手法（第2版）、Chapman & Hall、ISBN 978-0-412-44980-2
51. スティグラー、スティーブン・M. (1986). 『統計の歴史：1900年以前の不確実性の測定』ハーバード大学出版局. pp.  225–226 . ISBN 978-0-67440341-3。
52. スティグラー、スティーブン・M. (1986). 『統計の歴史：1900年以前の不確実性の測定』ケンブリッジ、マサチューセッツ州：ハーバード大学出版局ベルナップ・プレス、p.  134. ISBN 978-0-674-40340-6。
53. フィッシャー卿、ロナルド・A. (2000) [1935]. 「お茶を味わう貴婦人の数学」 . ジェームズ・ロイ・ニューマン編『数学の世界』第3巻[実験計画法]. クーリエ・ドーバー出版. ISBN 978-0-486-41151-4。元々はフィッシャーの著書『実験計画法』より。
54. ボックス、ジョーン・フィッシャー (1978). RAフィッシャー『科学者の生涯』 ニューヨーク: ワイリー. p. 134. ISBN 978-0-471-09300-8。
55. Jaynes, ET (2007).確率論：科学の論理（第5版）. Cambridge [ua]: Cambridge Univ. Press. ISBN 978-0-521-59271-0。
56. Schervish, M (1996)統計理論、p. 218. スプリンガーISBN 0-387-94546-6
57. Kaye, David H.; Freedman, David A. (2011). 「統計に関する参考ガイド」 . 『科学的証拠に関する参考マニュアル』（第3版）. イーガン（ミネソタ州）; ワシントンD.C.: West National Academies Press. p. 259. ISBN 978-0-309-21421-6。
58. アッシュ、ロバート (1970).基礎確率論. ニューヨーク: ワイリー. ISBN 978-0471034506。セクション8.2
59. Tukey, John W. (1960). 「結論と決定」. Technometrics . 26 (4): 423– 433. doi : 10.1080/00401706.1960.10489909 .「仮説検証の説明を精査し、[ネイマン・ピアソン]の決定要素と[フィッシャー]の結論要素を区別するまで、異質な要素の密接な混合は継続的な混乱の原因となるだろう。」…「『最善を尽くす』ことと『確かなことだけを言う』ことはどちらも重要ですが、それぞれの状況において、どちらが行われているか、そしてどちらが行われるべきかの両方を知ることが重要です。」
60. スティグラー、スティーブン・M. (1996年8月). 「1933年の統計史」 .統計科学. 11 (3): 244– 252. doi : 10.1214/ss/1032280216 . JSTOR 2246117 . 
61. Berger, James O. (2003). 「フィッシャー、ジェフリーズ、ネイマンは検定に関して合意できたのか？」 .統計科学. 18 (1): 1– 32. Bibcode : 2003StaSc..1897485B . doi : 10.1214/ss/1056397485 .
62. コーンフィールド、ジェローム (1976). 「臨床試験への最近の方法論的貢献」(PDF) . American Journal of Epidemiology . 104 (4): 408– 421. doi : 10.1093/oxfordjournals.aje.a112313 . PMID 788503 . 
63. イェーツ、フランク (1951). 「研究者のための統計手法が統計科学の発展に及ぼした影響」アメリカ統計学会誌. 46 (253): 19– 34. doi : 10.1080/01621459.1951.10500764 .「[RAフィッシャーの]統計手法全体を通して、正式な有意性検定に重点が置かれているため、科学研究者は、データ、特に実験から得られたデータに対して行う有意性検定の結果に過度の注意を払い、調査している効果の大きさの推定にはあまり注意を払わない傾向にあります。」…「有意性検定に重点を置き、各実験の結果を個別に検討した結果、科学者は実験における有意性検定の実行を究極の目的と見​​なすことが多くなるという残念な結果が生じています。」
64. Begg, Colin B.; Berlin, Jesse A. (1988). 「出版バイアス：医療データの解釈における問題」. Journal of the Royal Statistical Society, Series A. 151 ( 3): 419– 463. doi : 10.2307/2982993 . JSTOR 2982993. S2CID 121054702 .  
65. Meehl, Paul E. (1967). 「心理学と物理学における理論検証：方法論的パラドックス」（PDF） . Philosophy of Science . 34 (2): 103– 115. doi : 10.1086/288135 . S2CID 96422880. 2013年12月3日時点のオリジナル（PDF）からアーカイブ。 30 年後、ミールは「問題は統計学ではなく認識論である: 有意性検定を信頼区間に置き換え、危険な数値予測の精度を定量化する」(Harlow (1997) 第 14 章) の中で、統計的有意性理論が数学的に正しいと認めながらも、帰無仮説のデフォルトの選択には疑問を呈し続け、「社会科学者が理論と事実の論理的関係を理解し​​ていない」ことを非難しました。
66. Bakan, David (1966). 「心理学研究における有意性検定」.心理学速報. 66 (6): 423– 437. doi : 10.1037/h0020412 . PMID 5974619 . 
67. ギゲレンツァー、G（2004年11月）「無神経な統計」『社会経済学ジャーナル』33（5）：587-606。doi：10.1016/j.socec.2004.09.033。
68. ナナリー・ジュム (1960). 「心理学における統計学の位置づけ」.教育心理測定. 20 (4): 641– 650. doi : 10.1177/001316446002000401 . S2CID 144813784 . 
69. Lykken, David T. (1991). 「心理学の何が問題なのか？」『心理学について明確に考える』1 : 3–39 .
70. ジェイコブ・コーエン (1994年12月). 「地球は丸い (p < .05)」. American Psychologist . 49 (12): 997–1003 . doi : 10.1037/0003-066X.49.12.997 . S2CID 380942 . この論文は、APAによる統計実務の見直しにつながりました。コーエン氏は、この見直しを行ったタスクフォースのメンバーでした。
71. クライン・レックス（2004年）『有意性検定を超えて：行動研究におけるデータ分析手法の改革』ワシントンD.C.：アメリカ心理学会ISBN 9781591471189。
72. ブランチ、マーク (2014). 「帰無仮説検定の悪性副作用」.理論と心理学. 24 (2): 256– 277. doi : 10.1177/0959354314525282 . S2CID 40712136 . 
73. ハンター, ジョン・E. (1997年1月). 「必要：有意性検定の禁止」.心理科学. 8 (1): 3– 7. doi : 10.1111/j.1467-9280.1997.tb00534.x . S2CID 145422959 . 
74. ウィルキンソン、リーランド (1999). 「心理学ジャーナルにおける統計的手法；ガイドラインと解説」.アメリカ心理学会誌. 54 (8): 594– 604. Bibcode : 1999AmPsy..54..594W . doi : 10.1037/0003-066X.54.8.594 . S2CID 428023 . 「仮説検定。二分法的な受理・不受理の判断が、実際のp値、あるいはさらに良い信頼区間を報告するよりも優れている状況は想像しにくい。」(p 599)。委員会は、心理学報告における仮説検定の禁止に反対する決定を説明する際に、「寛容」という警告的な用語を用いた。(p 603)
75. 「ICMJE：否定的な研究を発表する義務」 。 2012年7月16日時点のオリジナルからアーカイブ。2012年9月3日閲覧。編集者は、読者にとって重要な問題に関する、慎重に行われた研究であれば、主要評価項目の結果が統計的に有意であるか、あるいは追加のアウトカムが統計的に有意であるかに関わらず、掲載を真剣に検討すべきである。統計的有意性の欠如を理由に研究結果の提出または発表を怠ることは、出版バイアスの重要な原因となる。
76. Journal of Articles in Support of the Null Hypothesisのウェブサイト： JASNHホームページ。第1巻第1号は2002年に発行され、すべての論文は心理学関連の主題に関するものです。
77. ハウエル、デイビッド (2002). 『心理学のための統計的手法』（第5版）ダックスベリー社. p.  94. ISBN 978-0-534-37770-0。
78. Williams, S.; Carson, R.; Tóth, K. (2023年10月10日). 「The Journal of PhysiologyにおけるP値を超えて：効果量と信頼区間の価値に関する入門書」 . J Physiol . 601 (23): 5131– 5133. doi : 10.1113 / JP285575 . PMID 37815959. S2CID 263827430 .  
79. P値はランダム変数である Duncan J. Murdoch、Yu-Ling Tsai、James Adcock、『The American Statistician』、2008年、 https://www.jstor.org/stable/27644033
80. Binhimd, Sulafah, Bashair Almalki. 「ブートストラップ法と再現確率」アメリカ工学・技術・科学研究誌 (ASRJETS) 59.1 (2019): 76-80.
81. Boos, Dennis D; Stefanski, Leonard A (2011). 「P値の精度と再現性」. The American Statistician . 65 (4): 213– 221. doi : 10.1198/tas.2011.10129 . PMC 3370685. PMID 22690019 .  
82. Ho, Joses; Tumkaya, Tayfun; Aryal, Sameer; Choi, Hyungwon; Claridge-Chang, Adam (2019年6月19日). 「P値を超えて：推定グラフを用いたデータ分析」 . Nature Methods . 16 (7): 565– 566. doi : 10.1038/s41592-019-0470-3 . ISSN 1548-7091 . PMID 31217592 .  
83. Kruschke, JK (2012年7月9日). 「ベイズ推定はT検定に取って代わる」(PDF) . Journal of Experimental Psychology: General . 142 (2): 573– 603. doi : 10.1037/a0029146 . PMID 22774788. S2CID 5610231 .  
84. Kruschke, JK (2018年5月8日). 「ベイズ推定におけるパラメータ値の受け入れと拒否」(PDF) .心理科学における方法と実践の進歩. 1 (2): 270– 280. doi : 10.1177/2515245918771304 . S2CID 125788648 . 
85. Armstrong, J. Scott (2007). 「有意性検定は予測の進歩を阻害する」 . International Journal of Forecasting . 23 (2): 321– 327. CiteSeerX 10.1.1.343.9516 . doi : 10.1016/j.ijforecast.2007.03.004 . S2CID 1550979 .  
86. Kass, RE (1993).ベイズ係数とモデルの不確実性(PDF) (レポート). ワシントン大学統計学部.
87. Rozeboom, William W (1960). 「帰無仮説検定の誤り」(PDF) . Psychological Bulletin . 57 (5): 416– 428. CiteSeerX 10.1.1.398.9002 . doi : 10.1037/h0042040 . PMID 13744252 .  「...統計を科学的推論に適切に適用するには、逆確率（別名ベイズ確率）を広範に考慮することが不可欠です...」残念ながら、事前確率分布は「少なくとも近い将来においては」、「人によって異なる主観的な感覚としてのみ」利用可能であることが認められました。
88. Berger, James (2006). 「客観的ベイズ分析の事例」ベイズ分析. 1 ( 3): 385– 402. doi : 10.1214/06-ba115 . 「客観的」ベイズ分析の競合する定義を列挙する中で、「統計学（そして科学）の主要な目標は、データから学習するための完全に一貫した客観的ベイズ分析法を見つけることである」と述べられています。著者は、この目標は「達成不可能」であるという見解を示しています。
89. Aldrich, J (2008). 「RAフィッシャーによるベイズとベイズの定理について」ベイズ解析. 3 ( 1): 161– 170. doi : 10.1214/08-BA306 .

さらに読む

• レーマン・エル（1992）「ネイマンとピアソン（1933）『統計的仮説の最も効率的な検定問題』への序論」統計のブレークスルー、第1巻（編：S .コッツ、ジョンソン、オランダ）、シュプリンガー・フェアラーク。ISBN 0-387-94037-5（その後、論文が再掲載されます）
• ネイマン, J.; ピアソン, ES (1933). 「統計的仮説の最も効率的な検定の問題について」 .王立協会哲学論文集 A. 231 ( 694–706 ) : 289–337 . Bibcode : 1933RSPTA.231..289N . doi : 10.1098/rsta.1933.0009 .

外部リンク

• 「統計的仮説の検証」、数学百科事典、EMS Press、2001 [1994]
• 古典的な仮説検定に対するベイズ批判
• 統計学者の長年の懸念を浮き彫りにする古典的な仮説検定の批判
• 統計検定の概要：適切な統計検定を選択する方法
• [1]生物学的知識の発見における統計分析に基づく仮説検定法；Md. Naseef-Ur-Rahman Chowdhury、Suvankar Paul、Kazi Zakia Sultana

オンライン計算機

• いくつかのp 値および仮説検定計算機。