ベイズ統計

ベイズ統計（/ ˈ b eɪ z i ə n / BAY -zee-ənまたは/ ˈ b eɪ ʒ ən / BAY -zhən）[ 1 ]は、ベイズ的確率解釈に基づく統計分野の理論であり、確率はある事象に対する確信の度合いを表す。確信の度合いは、過去の実験結果など、事象に関する事前知識や個人的信念に基づく場合がある。これは、確率を多数回の試行後の事象の相対頻度の限界とみなす頻度主義的解釈など、他の多くの確率の解釈とは異なる。 [ 2 ]より具体的には、ベイズ法による分析では、事前分布の形で事前知識をコード化する。

ベイズ統計手法では、ベイズの定理を用いて、新しいデータを取得した後に確率を計算・更新します。ベイズの定理は、データだけでなく、事象に関する事前情報や信念、あるいは事象に関連する条件に基づいて、事象の条件付き確率を記述します。 [ 3 ] [ 4 ]例えば、ベイズ推論では、ベイズの定理を用いて確率分布や統計モデルのパラメータを推定することができます。ベイズ統計では確率を信念の度合いとして扱うため、ベイズの定理は、信念を定量化する確率分布をパラメータまたはパラメータセットに直接割り当てることができます。[ 2 ] [ 3 ]

ベイズ統計は、 1763年に発表された論文でベイズの定理の特定のケースを定式化したトーマス・ベイズにちなんで名付けられました。ピエール＝シモン・ラプラスは、18世紀後半から19世紀初頭にかけての複数の論文で、ベイズ的確率解釈を展開しました。[ 5 ]ラプラスは、現在ベイズ的とみなされている手法を用いて、多くの統計的問題を解決しました。多くのベイズ的手法は後世の著者によって開発されましたが、「ベイズ的」という用語は1950年代までこれらの手法を説明するために一般的には使用されていませんでした。20世紀の大半を通じて、ベイズ的手法は哲学的および実践的な考慮から、多くの統計学者から好ましく見られませんでした。これらの手法の多くは多くの計算を必要とし、当時広く使用されていたアプローチは頻度主義的解釈に基づいていました。しかし、強力なコンピュータとマルコフ連鎖モンテカルロなどの新しいアルゴリズムの登場により、ベイズ的手法は21世紀の統計においてますます重要性を増しています。[ 2 ] [ 6 ]

ベイズの定理

ベイズの定理は、ベイズ法において、新たなデータを得た後に、信念の度合いである確率を更新するために用いられる。2つの事象とが与えられたとき、真である条件付き確率は以下のように表される。[ 7 ]あ{\displaystyle A}B{\displaystyle B}あ{\displaystyle A}B{\displaystyle B}

P（あ∣B）＝P（B∣あ）P（あ）P（B）{\displaystyle P(A\mid B)={\frac {P(B\mid A)P(A)}{P(B)}}}

ここで である。ベイズの定理は確率論の基本的な結果であるが、ベイズ統計学においては特別な解釈がなされる。上記の式において、は通常命題（例えば、コインが50%の確率で表が出る、など）を表し、 は証拠、つまり考慮に入れるべき新しいデータ（例えば、コインを何度も投げた結果）を表す。は の事前確率であり、証拠を考慮する前のについての信念を表す。事前確率は についての事前の知識や情報を定量化することもある。は尤度関数であり、が真であると仮定した場合の証拠の確率として解釈できる。尤度は、証拠が命題を支持する程度を定量化する。は事後確率であり、証拠を考慮した後の命題の確率である。本質的に、ベイズの定理は新しい証拠を考慮した後に事前の信念を更新する。[ 2 ]P（B）≠0{\displaystyle P(B)\neq 0}あ{\displaystyle A}B{\displaystyle B}P（あ）{\displaystyle P(A)}あ{\displaystyle A}あ{\displaystyle A}あ{\displaystyle A}P（B∣あ）{\displaystyle P(B\mid A)}B{\displaystyle B}あ{\displaystyle A}B{\displaystyle B}あ{\displaystyle A}P（あ∣B）{\displaystyle P(A\mid B)}あ{\displaystyle A}B{\displaystyle B}P（あ）{\displaystyle P(A)}B{\displaystyle B}

証拠の確率は全確率の法則を用いて計算できる。もし が実験のすべての結果の集合である標本空間の分割であるならば、 [ 2 ] [ 7 ]P（B）{\displaystyle P(B)}{あ1、あ2、…、あn}{\displaystyle \{A_{1},A_{2},\dots ,A_{n}\}}

P（B）＝P（B∣あ1）P（あ1）+P（B∣あ2）P（あ2）+⋯+P（B∣あn）P（あn）＝∑私P（B∣あ私）P（あ私）{\displaystyle P(B)=P(B\mid A_{1})P(A_{1})+P(B\mid A_{2})P(A_{2})+\dots +P(B\mid A_{n})P(A_{n})=\sum _{i}P(B\mid A_{i})P(A_{i})}

結果が無限にある場合、全確率の法則を用いて計算するには、すべての結果を積分する必要があります。多くの場合、計算には合計や積分が必要となり、評価に時間がかかるため計算が困難です。そのため、同じ分析では証拠が変化しないため、事前分布と尤度の積のみが考慮されることが多いです。事後分布はこの積に比例します。[ 2 ]P（B）{\displaystyle P(B)}P（B）{\displaystyle P(B)}

P（あ∣B）∝P（B∣あ）P（あ）{\displaystyle P(A\mid B)\propto P(B\mid A)P(A)}

事後分布のモードであり、ベイズ統計学では数学的最適化手法を用いてしばしば計算される最大事後分布は、同じままである。マルコフ連鎖モンテカルロ法や変分ベイズ法などの手法を用いれば、事後分布の正確な値を計算しなくても、近似値を求めることができる。[ 2 ]P（B）{\displaystyle P(B)}

工事

ベイズ統計における事後確率の古典的な教科書的な方程式は、通常次のように表現されます。 ここで、 はデータ収集後の真のパラメータである更新された確率、はパラメータ を与えられたデータ収集の尤度、は の尤度に対する事前確信であり、分母の積分はデータ収集の確率を示します。 π（θ∣×）＝L（×∣θ）⋅π（θ）∫ΘL（×∣θ′）⋅π（θ′）dθ′{\displaystyle \pi (\theta \mid x)={\mathcal {L}}(x\mid \theta )\cdot {\frac {\pi (\theta )}{\int _{\Theta }{\mathcal {L}}(x\mid \theta ')\cdot \pi (\theta ')\;d\theta '}}}π（θ∣×）{\displaystyle \pi (\theta \mid x)}θ{\displaystyle \theta}×{\displaystyle x}L（×∣θ）{\displaystyle {\mathcal {L}}(x\mid \theta )}×{\displaystyle x}θ{\displaystyle \theta}π（θ）{\displaystyle \pi (\theta )}θ{\displaystyle \theta}×{\displaystyle x}

数学的には、このバージョンのベイズの定理は次のように構築できます。 を何らかのパラメトリック統計モデルとし、をそのパラメータ空間上の確率空間とします。は次のように定義される一種の積測度 である新しい確率空間を構築できます。（Ω、ΣΩ、{Pθ∣θ∈Θ}）{\displaystyle (\Omega ,\Sigma _{\Omega },\lbrace P_{\theta }\mid \theta \in \Theta \rbrace )}（Θ、ΣΘ、π）{\displaystyle (\Theta ,\Sigma _{\Theta },\pi )}（Θ×Ω、ΣΘ⊗ΣΩ、質問）{\displaystyle (\Theta \times \Omega ,\Sigma _{\Theta }\otimes \Sigma _{\Omega },Q)}質問{\displaystyle Q}質問（M）:=（π⊗P⋅）（M）＝∫ΘPθ′（Mθ′）dπ（θ′）{\displaystyle Q(M):=(\pi \otimes P_{\cdot })(M)=\int _{\Theta }P_{\theta '}(M_{\theta '})\;d\pi (\theta ')}

ここで、 と とすると、次のようになります。 あθ:={θ}×Ω{\displaystyle A_{\theta }:=\lbrace \theta \rbrace \times \Omega }B×:=Θ×{×}{\displaystyle B_{x}:=\Theta \times \lbrace x\rbrace }質問（θ）＝質問（あθ）＝∫{θ}Pθ′（Ω）dπ（θ′）＝π（{θ}）⋅Pθ（Ω）＝π（θ）{\displaystyle Q(\theta )=Q(A_{\theta })=\int _{\lbrace \theta \rbrace }P_{\theta '}(\Omega )\;d\pi (\theta ')=\pi (\lbrace \theta \rbrace )\cdot P_{\theta }(\Omega )=\pi (\theta )}

そしてそれゆえ

質問（×∣θ）＝質問（B×∩あθ）質問（あθ）＝π（θ）⋅Pθ（{×}）π（θ）＝Pθ（×）{\displaystyle Q(x\mid \theta )={\frac {Q(B_{x}\cap A_{\theta })}{Q(A_{\theta })}}={\frac {\pi (\theta )\cdot P_{\theta }(\lbrace x\rbrace )}{\pi (\theta )}}=P_{\theta }(x)}

経験的に予想される通り、どちらも同じである。したがって、ベイズの定理は次のように述べている。

質問（θ∣×）＝Pθ（×）⋅π（θ）質問（×）{\displaystyle Q(\theta \mid x)=P_{\theta }(x)\cdot {\frac {\pi (\theta )}{Q(x)}}}

（ルベーグ測度に関して絶対連続）であれば、次のような密度が存在し、次のように書くことができます。 π≪λ{\displaystyle \pi \ll \lambda }π（θ）＝dπdλ（θ）{\displaystyle \pi (\theta )={\frac {d\pi }{d\lambda }}(\theta )}

質問（×）＝∫ΘPθ′（×）dπ（θ′）＝∫ΘPθ′（×）⋅π（θ′）dθ′{\displaystyle Q(x)=\int _{\Theta }P_{\theta '}(x)\;d\pi (\theta ')=\int _{\Theta }P_{\theta '}(x)\cdot \pi (\theta ')\;d\theta '}

それ以外の場合、（計数測定に関して絶対連続）であれば、同様に次のように書くことができます。 π≪ν{\displaystyle \pi \ll \nu }

質問（×）＝∫ΘPθ′（×）⋅π（θ′）dν（θ′）＝∑私Pθ私（×）⋅π（θ私）{\displaystyle Q(x)=\int _{\Theta }P_{\theta '}(x)\cdot \pi (\theta ')\;d\nu (\theta ')=\sum _{i}P_{\theta _{i}}(x)\cdot \pi (\theta _{i})}

したがって、を、を と同一視することで、上記に述べた古典的な方程式に到達します。 Q(θ∣x){\displaystyle Q(\theta \mid x)}π(θ∣x){\displaystyle \pi (\theta \mid x)}L(x∣θ){\displaystyle {\mathcal {L}}(x\mid \theta )}Pθ(x){\displaystyle P_{\theta }(x)}

ベイズ法

一般的な統計手法のセットはいくつかのアクティビティに分けられ、その多くには特別なベイズバージョンがあります。

ベイズ推論

ベイズ推論とは、推論における不確実性を確率を用いて定量化する統計的推論を指す。 [ 8 ]古典的な頻度主義的推論では、モデルのパラメータと仮説は固定されているとみなされる。頻度主義的推論では、パラメータや仮説に確率は割り当てられない。例えば、コインを投げた次の結果のように、一度しか起こり得ない事象に確率を直接割り当てることは頻度主義的推論では意味をなさない。しかし、コインを投げる回数が増えるにつれて表が出る確率が半分に近づくと述べることは意味をなす。[ 9 ]

統計モデルは、サンプルデータがどのように生成されるかを表す一連の統計的仮定とプロセスを指定します。統計モデルには、変更可能なパラメーターがいくつかあります。たとえば、コインはベルヌーイ分布からのサンプルとして表すことができます。ベルヌーイ分布は、2つの可能な結果を​​モデル化します。ベルヌーイ分布には、1つの結果の確率に等しい単一のパラメーターがあり、ほとんどの場合、これは表が出る確率です。データに適したモデルを考案することは、ベイズ推論の中心です。ほとんどの場合、モデルは真のプロセスを近似するだけで、データに影響を与える特定の要因を考慮に入れない可能性があります。[ 2 ]ベイズ推論では、確率をモデルパラメーターに割り当てることができます。パラメーターはランダム変数として表すことができます。ベイズ推論では、ベイズの定理を使用して、より多くの証拠が得られたか知られた後に確率を更新します。[ 2 ] [ 10 ]さらに、ベイズ法では、モデル全体に​​事前分布を配置し、ベイズの定理を使用して事後確率を計算することができます。これらの事後確率は、事前分布と周辺尤度の積に比例します。ここで、周辺尤度は、パラメータの事前分布に対する標本密度の積分です。複雑なモデルでは、周辺尤度は一般的に数値的に計算されます。[ 11 ]

統計モデリング

ベイズ統計を用いた統計モデルの定式化には、未知のパラメータについて事前分布の指定が必要となるという特徴があります。実際、事前分布のパラメータ自体も事前分布を持つ場合があり、これはベイズ階層モデリング（[ 12 ] [ 13 ] [ 14 ]とも呼ばれる）につながります。特殊な例としてベイジアンネットワークが挙げられます。

ベイズ統計分析を実施するためのベストプラクティスは、van de Schootらによって議論されている[ 15 ]。

ベイズ統計解析の結果を報告するためのベイズ解析報告ガイドライン（BARG）が、ジョン・K・クルシュケによるオープンアクセス論文で提供されている。[ 16 ]

実験計画法

ベイズ実験計画法には、「事前信念の影響」と呼ばれる概念が含まれています。このアプローチでは、逐次分析手法を用いて、以前の実験の結果を次の実験計画に組み入れます。これは、事前分布と事後分布を用いて「信念」を更新することで実現されます。これにより、実験計画においてあらゆる種類のリソースを有効に活用することが可能になります。一例として、多腕バンディット問題が挙げられます。

ベイズモデルの探索的分析

ベイズモデルの探索的分析は、ベイズモデリングのニーズと特殊性に合わせて探索的データ分析アプローチを適応または拡張したものである。ペルシ・ディアコニスは次のように述べている[ 17 ]。

探索的データ分析は、データの構造、つまり単純な記述を明らかにすることを目指します。数値やグラフを見てパターンを見つけようとします。背景情報、想像力、認識されたパターン、そして他のデータ分析の経験から示唆される手がかりを追求します。

推論プロセスは事後分布を生成します。事後分布は、事後予測分布や事前予測分布といった他の分布とともに、ベイズ統計において中心的な役割を果たします。これらの分布を正しく視覚化し、分析し、解釈することが、推論プロセスの動機となる問いに適切に答えるための鍵となります。[ 18 ]

ベイズモデルを使用する場合、推論自体のほかに対処する必要がある一連の関連タスクがあります。

  • 推論の質の診断。マルコフ連鎖モンテカルロ法などの数値手法を使用する場合に必要となる。
  • モデル批評（モデルの仮定とモデル予測の両方の評価を含む）
  • モデルの選択やモデルの平均化を含むモデルの比較
  • 特定の対象者に向けた結果の準備

これらのタスクはすべてベイズモデルの探索的分析アプローチの一部であり、それらを成功裏に実行することが反復的かつインタラクティブなモデリングプロセスの中心となる。これらのタスクには、数値的要約と視覚的要約の両方が必要である。[ 19 ] [ 20 ] [ 21 ]

参照

参考文献

  1. ^ 「ベイズ」。Merriam -Webster.com辞書。Merriam-Webster。
  2. ^ a b c d e f g h iゲルマン, アンドリュー;カーリン, ジョン B .; スターン, ハル S.; ダンソン, デイビッド B.; ベタリ, アキ;ルービン, ドナルド B. (2013).ベイズデータ分析（第3版）. チャップマン・アンド・ホール/CRC. ISBN 978-1-4398-4095-5。
  3. ^ a b McElreath, Richard (2020).統計的再考：RとStanの例を使ったベイズ統計講座（第2版）. Chapman and Hall/CRC. ISBN 978-0-367-13991-9。
  4. ^ Kruschke, John (2014). 『ベイズ統計データ分析入門：R、JAGS、Stanを使ったチュートリアル』（第2版）Academic Press. ISBN 978-0-12-405888-0。
  5. ^マクグレイン、シャロン（2012年）『死なない理論：ベイズの定理はいかにしてエニグマ暗号を解読し、ロシア潜水艦を追跡し、2世紀にわたる論争から勝利を収めたのか』（初版）チャップマン・アンド・ホール／CRC ISBN 978-0-3001-8822-6。
  6. ^ Fienberg, Stephen E. (2006). 「ベイズ推論はいつ『ベイズ的』になったのか？」ベイズ分析. 1 (1): 1– 40. doi : 10.1214/06-BA101 .
  7. ^ a bグリンステッド、チャールズ・M.、スネル、J.ローリー (2006).確率入門（第2版）. プロビデンス、ロードアイランド州: アメリカ数学会. ISBN 978-0-8218-9414-9。
  8. ^ Lee, Se Yoon (2021). 「ギブスサンプラーと座標上昇変分推論：集合論的レビュー」. Communications in Statistics - Theory and Methods . 51 (6): 1549– 1568. arXiv : 2008.01006 . doi : 10.1080/03610926.2021.1921214 . S2CID 220935477 . 
  9. ^ウェイクフィールド、ジョン（2013年）ベイズ回帰法と頻度主義回帰法ニューヨーク：シュプリンガーISBN 978-1-4419-0924-4。
  10. ^コングドン、ピーター (2014).応用ベイズモデリング（第2版）. Wiley. ISBN 978-1119951513。
  11. ^チブ、シッダールタ (1995). 「ギブス出力からの周辺尤度」アメリカ統計学会誌. 90 (432): 1313– 1321. doi : 10.1080/01621459.1995.10476635 .
  12. ^ Kruschke, JK ; Vanpaemel, W (2015). 「階層モデルにおけるベイズ推定」. Busemeyer, JR; Wang, Z; Townsend, JT; Eidels, A (編). 『オックスフォード計算・数理心理学ハンドブック』（PDF） . オックスフォード大学出版局. pp.  279– 299.
  13. ^ Hajiramezanali, E. & Dadaneh, SZ & Karbalayghareh, A. & Zhou, Z. & Qian, X. 次世代シーケンシングカウントデータからの癌サブタイプ発見のためのベイズ多領域学習．第32回神経情報処理システム会議（NIPS 2018），モントリオール，カナダ．arXiv : 1810.09433
  14. ^ Lee, Se Yoon; Mallick, Bani (2021). 「ベイズ階層モデリング：南テキサスのイーグルフォード頁岩における生産結果への応用」Sankhya B. 84 : 1– 43. doi : 10.1007 /s13571-020-00245-8 .
  15. ^ van de Schoot, Rens; Depaoli, Sarah; King, Ruth; Kramer, Bianca; Märtens, Kaspar; Tadesse, Mahlet G.; Vannucci, Marina; Gelman, Andrew; Veen, Duco; Willemsen, Joukje; Yau, Christopher (2021年1月14日). 「ベイズ統計とモデリング」 . Nature Reviews Methods Primers . 1 (1): 1– 26. doi : 10.1038/s43586-020-00001-2 . hdl : 1874/415909 . S2CID 234108684 . 
  16. ^ Kruschke, JK (2021年8月16日). 「ベイズ分析報告ガイドライン」 . Nature Human Behaviour . 5 (10): 1282– 1291. doi : 10.1038/s41562-021-01177-7 . PMC 8526359. PMID 34400814 .  
  17. ^ディアコニス、ペルシ（2011）「データ分析の理論：魔法的思考から古典的統計学まで」John Wiley & Sons, Ltd 2:e55 doi : 10.1002/9781118150702.ch1
  18. ^ Kumar, Ravin; Carroll, Colin; Hartikainen, Ari; Martin, Osvaldo (2019). 「ArviZ：Pythonでベイズモデルの探索的分析を行うための統合ライブラリ」 . Journal of Open Source Software . 4 (33): 1143. Bibcode : 2019JOSS....4.1143K . doi : 10.21105/joss.01143 . hdl : 11336/114615 .
  19. ^ Gabry, Jonah; Simpson, Daniel; Vehtari, Aki; Betancourt, Michael; Gelman, Andrew (2019). 「ベイズワークフローにおける可視化」. Journal of the Royal Statistical Society, Series A (Statistics in Society) . 182 (2): 389– 402. arXiv : 1709.01449 . doi : 10.1111/rssa.12378 . S2CID 26590874 . 
  20. ^ Vehtari, Aki; Gelman, Andrew; Simpson, Daniel; Carpenter, Bob; Bürkner, Paul-Christian (2021). 「ランク正規化、フォールディング、ローカリゼーション：MCMCの収束性を評価するための改良Rˆ（考察付き）」. Bayesian Analysis . 16 (2): 667. arXiv : 1903.08008 . Bibcode : 2021BayAn..16..667V . doi : 10.1214/20-BA1221 . S2CID 88522683 . 
  21. ^ Martin, Osvaldo (2018). Pythonによるベイズ分析：PyMC3とArviZを用いた統計モデリングと確率プログラミング入門. Packt Publishing Ltd. ISBN 9781789341652。

さらに読む

ウィキバーシティにはベイズ統計に関する学習リソースがあります
「 https://en.wikipedia.org/w/index.php?title=ベイズ統計&oldid =1325967423」より取得