ベイズ確率（/ ˈ b eɪ z i ə n / BAY -zee-ənまたは/ ˈ b eɪ ʒ ən / BAY -zhən）[1]は確率の概念の解釈であり、ある現象の頻度や傾向の代わりに、確率を知識の状態を表す合理的な期待値[2]または個人的な信念の定量化[3]として解釈します。[4]

ベイズ的確率解釈は、仮説[5] [6]、すなわち真偽が不明な命題を用いた推論を可能にする命題論理の拡張と見ることができる。ベイズ的解釈では、仮説に確率が割り当てられるのに対し、頻度主義的推論では、仮説は通常、確率が割り当てられることなく検定される。

ベイズ確率は証拠に基づく確率のカテゴリーに属します。仮説の確率を評価するために、ベイズ確率論者は事前確率を指定します。これは、関連する新たなデータ（証拠）に照らして事後確率に更新されます。[7]ベイズ解釈は、この計算を実行するための標準的な手順と公式を提供します。

ベイズという用語は、18世紀のイギリスの数学者で神学者のトーマス・ベイズに由来しています。彼は、現在ベイズ推論として知られる手法を用いて、統計データ分析の重要な問題を初めて数学的に扱いました。[8] : 131 数学者ピエール・シモン・ラプラスは、現在ベイズ確率と呼ばれる手法の先駆者となり、普及させました。[8] : 97–98 

ベイズ法

ベイズ法は次のような概念と手順によって特徴付けられます。

  • ランダム変数、またはより一般的には未知の量[9]を使用して、情報不足から生じる不確実性（偶然性と認識論的不確実性も参照）を含む統計モデルにおけるすべての不確実性の原因をモデル化します。
  • 利用可能な（事前の）情報を考慮して事前確率分布を決定する必要性。
  • ベイズの定理の順次使用: より多くのデータが利用可能になるにつれて、ベイズの定理を使用して事後分布を計算します。その後、事後分布は次の事前分布になります。
  • 頻度主義者にとって、仮説は命題（真か偽かのいずれか）であるため、仮説の頻度主義的確率は 0 か 1 のいずれかになりますが、ベイズ統計では、真理値が不明な場合は、仮説に割り当てられる確率も 0 から 1 の範囲になります。

客観的および主観的なベイズ確率

大まかに言えば、ベイズ確率には2つの解釈がある。客観主義者は確率を論理の延長として解釈し、確率とは、同じ知識を共有するすべての人（「ロボット」であっても）がベイズ統計の規則に従って共有するであろう合理的な期待値を定量化するものであり、これはコックスの定理によって正当化される。[3] [10]主観主義者にとって、確率は個人の信念に対応する。[4]合理性と一貫性は、それらが課す制約の範囲内で大きな変動を許容する。これらの制約は、オランダ書論、あるいは意思決定理論とデ・フィネッティの定理によって正当化される。[4]ベイズ確率の客観版と主観版は、主に事前確率の解釈と構築において異なる。

歴史

ベイジアンという用語は、トーマス・ベイズ（1702–1761）に由来する。彼は「偶然の理論における問題解決に向けた試論」という論文で、現在ベイズの定理と呼ばれているものの特殊なケースを証明した。[11]その特殊なケースでは、事前分布と事後分布はベータ分布であり、データはベルヌーイ試行から得られた。定理の一般版を提示し、それを天体力学、医療統計、信頼性、法学の問題へのアプローチに使用したのはピエール＝シモン・ラプラス（1749–1827）であった。[12]ラプラスの不十分理由原理に従って一様事前分布を使用した初期のベイズ推論は、「逆確率」と呼ばれていた（観測からパラメータへ、または結果から原因へ逆方向に推論するため）。 [13] 1920年代以降、「逆確率」は頻度主義統計と呼ばれるようになった一連の手法に大きく取って代わられました。[13]

20世紀には、ラプラスの思想は二つの方向に発展し、ベイズ統計学の実践において 客観的な潮流と主観的な潮流を生み出した。ハロルド・ジェフリーズの『確率論』（1939年初版）は、ベイズ統計学の確率論的見解の復活に重要な役割を果たし、その後、エイブラハム・ウォルド（ 1950年）とレナード・J・サベージ（1954年）の著作が続いた。 「ベイズ的」という形容詞自体は1950年代に遡り、派生したベイズ主義、ネオベイズ主義は1960年代に生まれた造語である。[14] [15] [16]客観主義の流れにおいて、統計分析は仮定されたモデルと分析されたデータのみに依存する。[17]主観的な判断は不要である。対照的に、「主観主義」の統計学者は、一般的なケースにおいて完全に客観的な分析が不可能であることを否定する。

1980年代には、ベイズ法の研究と応用が劇的に増加しました。これは主に、マルコフ連鎖モンテカルロ法の発見とそれに伴う多くの計算問題の解消、そして非標準的で複雑な応用への関心の高まりによるものです。[18]頻度主義統計は依然として強いですが（学部教育の多くがそれに基づいていることからもわかるように[19] ）、ベイズ法は機械学習の分野などで広く受け入れられ、使用されています。[20]

正当化

ベイズ推論の基礎としてベイズ確率を使用することは、コックスの公理、オランダ書論、意思決定理論に基づく議論、およびデ・フィネッティの定理など、いくつかの議論によって裏付けられてきました。

公理的なアプローチ

リチャード・T・コックスは、ベイズ更新が2つの関数方程式と微分可能性の仮説を含むいくつかの公理から導かれることを示した。[10] [21]微分可能性や連続性の仮定は議論の余地があるが、ハルパーンはブール代数が有限である可能性があるという観察に基づいて反例を見つけた。[22]理論をより厳密にする目的で、様々な著者によって他の公理化が提案されている。[9]

オランダの書籍アプローチ

ブルーノ・デ・フィネッティは、賭博に基づいてダッチブック論を提唱した。巧妙なブックメーカーは、賭けるイベント（例えば競馬）の結果に関わらず、賭ける側の利益（賭ける側の犠牲を払って）を確保するようにオッズと賭け金を設定することで、ダッチブックを作る。これは、オッズが一貫性を欠くことから示唆される確率と関連している。

しかし、イアン・ハッキングは、伝統的なオランダ書の議論はベイズ的更新を規定していないと指摘した。つまり、非ベイズ的更新規則がオランダ書を回避できる可能性を残していたのだ。例えば、ハッキングは次のように述べている[23] [24]。「そして、オランダ書の議論も、パーソナリストによる確率公理の証明の他のどの議論も、動的仮定を伴わない。ベイズ主義を伴うものは一つもない。したがって、パーソナリストは動的仮定がベイズ的であることを要求する。確かに、一貫性を保つために、パーソナリストは経験から学ぶベイズ的モデルを放棄することができる。塩は風味を失うかもしれない。」

実際、オランダ語版を回避する非ベイズ的更新規則も存在します（リチャード・C・ジェフリーの規則の出版に続いて「確率運動学」[25]の文献で議論されているように、この規則自体もベイズ的であると考えられています[26]）。ベイズ的更新を（一意に）規定するのに十分な追加仮説は相当なものであり[27]、必ずしも満足できるものではありません[28] 。

意思決定理論アプローチ

ベイズ推論（ひいてはベイズ確率）の使用の意思決定理論的正当性はアブラハム・ワルドによって示され、彼はすべての許容される統計的手順はベイズ手順かベイズ手順の限界のいずれかであることを証明した。[29]逆に、すべてのベイズ手順は許容される。[30]

個人確率と事前確率を構築するための客観的な方法

ラムゼーとフォン・ノイマンによる期待効用 理論 の研究に続き、意思決定理論家たちは、エージェントの確率分布を用いて合理的行動を説明してきた。ヨハン・ファンツァグルは、主観的確率と効用の公理化を提示することで『ゲームと経済行動の理論』を完成させた。これはフォン・ノイマンとオスカー・モルゲンシュテルンが未完に終えた課題である。彼らの当初の理論では、便宜上、すべてのエージェントが同じ確率分布を持つと仮定されていた。[31]ファンツァグルの公理化はオスカー・モルゲンシュテルンによって支持された。「フォン・ノイマンと私は…[確率が、おそらくより典型的には、主観的であるかどうかという問題]を予期し、後者の場合、望ましい数値的効用と確率の数値を導き出す公理が見つかる可能性があると具体的に述べた（『ゲーム理論と経済行動』19ページ参照）。我々はこれを実行しなかった。ファンツァグルは…必要な厳密さをもってそれを実証した。」[32]

ラムゼーとサベージは、個々のエージェントの確率分布は実験によって客観的に研究できることを指摘した。確率に関する仮説を（有限サンプルを用いて）検証する手順は、ラムゼー（1931）とデ・フィネッティ（1931、1937、1964、1970）に由来する。ブルーノ・デ・フィネッティ[33] [34]とフランク・P・ラムゼー[34] [35]はともに、プラグマティズム哲学、特に（ラムゼーに関しては）チャールズ・S・パース[34] [35]に負っていることを認めている。

確率分布を評価するための「ラムゼーテスト」は理論的には実行可能であり、半世紀にわたって実験心理学者を悩ませてきました。[36] この研究は、ベイズ確率命題が反証可能であり、ラムゼーに影響を与えたチャールズ・S・パースの経験的基準を満たすことを示しています。（この反証可能性基準はカール・ポパーによって普及しました。[37] [38]）

個人的確率の実験的評価に関する現代の研究では、ピアース・ジャストロウ実験のランダム化、盲検化、ブール決定の手順が用いられている。[39]個人はそれぞれ異なる確率判断に基づいて行動するため、これらのエージェントの確率は「個人的」である（ただし、客観的な研究には適している）。

個人確率は、科学や、意思決定者が十分な情報に基づいた確率分布（それに基づいて行動する準備）を特定するための知識や時間がないような一部の応用においては問題となる。科学のニーズと人間の限界を満たすために、ベイズ統計学者は事前確率を特定するための「客観的な」手法を開発してきた。

実際、ベイズ主義者の中には、事前知識の状態が「通常の」統計問題（適切設定問題を参照）の（一意の）事前確率分布を定義すると主張する者もいる。適切な種類の通常の問題に対して、そのような「客観的」事前分布を構築する適切な方法を見つけることは、ラプラスからジョン・メイナード・ケインズ、ハロルド・ジェフリーズ、エドウィン・トンプソン・ジェインズに至るまでの統計理論家たちの探求であった。これらの理論家とその後継者たちは、「客観的」事前分布を構築するためのいくつかの方法を提案してきた（残念ながら、これらの方法に基づいて提案された事前分布の相対的な「客観性」をどのように評価するかは必ずしも明確ではない）。

これらの手法はいずれも、「規則的な」1パラメータ問題に対する有用な事前分布を提供し、また、それぞれが（「不規則性」や複数のパラメータを持つ）いくつかの複雑な統計モデルを扱うことができます。これらの手法はいずれもベイズ統計の実践において有用です。実際、「客観的」（あるいは「デフォルト」または「無知」）事前分布を構築する手法は、ジェームズ・バーガー（デューク大学）やホセ＝ミゲル・ベルナルド（バレンシア大学）といった自称主観的（あるいは「個人的」）ベイズ主義者によって開発されてきました。これは、ベイズ統計の実践、特に科学分野において、そのような事前分布が必要とされるからです。[40]「事前分布を構築するための普遍的な方法」の探求は、統計理論家たちの関心を集め続けています。[40]

したがって、ベイズ統計学者は、情報に基づいた事前分布（関連する専門知識または以前のデータの使用）を使用するか、競合する手法の中から「客観的な」事前分布を構築するための方法を選択する必要があります。

参照

参考文献

  1. ^ 「ベイズ統計」。Merriam -Webster.com辞書。Merriam-Webster。
  2. ^ Cox, RT (1946). 「確率、頻度、そして合理的な期待値」. American Journal of Physics . 14 (1): 1– 10. Bibcode :1946AmJPh..14....1C. doi :10.1119/1.1990764.
  3. ^ ab Jaynes, ET (1986). 「ベイズ法：一般的な背景」. Justice, JH (編). 『応用統計における最大エントロピーとベイズ法』 . ケンブリッジ: ケンブリッジ大学出版局. Bibcode :1986mebm.conf.....J. CiteSeerX 10.1.1.41.1055 . 
  4. ^ abc de Finetti, Bruno (2017). 『確率論：批判的入門』チチェスター: John Wiley & Sons Ltd. ISBN 9781119286370。
  5. ^ ヘイルペリン、セオドア（1996年）『文的確率論理：起源、発展、現状、そして技術的応用』ロンドン：アソシエイテッド・ユニバーシティ・プレス、ISBN 0934223459。
  6. ^ ハウソン、コリン (2001). 「ベイズ確率の論理」. コーフィールド, D.、ウィリアムソン, J. (編).ベイズ主義の基礎. ドルドレヒト: クルーワー. pp.  137– 159. ISBN 1-4020-0223-8。
  7. ^ Paulos, John Allen (2011年8月5日). 「The Mathematics of Changing Your Mind [by Sharon Bertsch McGrayne]」. 書評. New York Times . 2022年1月1日時点のオリジナルよりアーカイブ。 2011年8月6日閲覧。
  8. ^ ab スティグラー、スティーブン・M.（1990年3月）『統計の歴史』ハーバード大学出版局、ISBN 9780674403413。
  9. ^ ab Dupré, Maurice J.; Tipler, Frank J. (2009). 「厳密なベイズ確率のための新しい公理」.ベイズ分析. 4 (3): 599– 606. CiteSeerX 10.1.1.612.3036 . doi :10.1214/09-BA422. 
  10. ^ ab Cox, Richard T. (1961). The algebra of probable inference (Reprint ed.). Baltimore, MD; London, UK: Johns Hopkins Press; Oxford University Press [distributor]. ISBN 9780801869822。 {{cite book}}:ISBN / 日付の非互換性（ヘルプ）
  11. ^ McGrayne, Sharon Bertsch (2011). 『死なない理論』[https://archive.org/details/theorythatwouldn0000mcgr/page/10 10]、p. 10、Google Booksにて。
  12. ^ スティグラー、スティーブン・M. (1986). 「第3章」 .統計の歴史. ハーバード大学出版局. ISBN 9780674403406。
  13. ^ ab Fienberg, Stephen. E. (2006). 「ベイズ推論はいつ「ベイズ的」になったのか？」(PDF) .ベイズ分析. 1 (1): 5, 1– 40. doi : 10.1214/06-BA101 . 2014年9月10日時点のオリジナル(PDF)からのアーカイブ。
  14. ^ ハリス、マーシャル・ディーズ (1959). 「いわゆるベイズ統計学アプローチの最近の発展」農業法センター、法経済研究、アイオワ大学: 125 (脚注 #52), 126.ウォルドの『統計的決定関数』（1950年）とサベージの『統計学の基礎』 （1954年）は、現在のベイズ統計学アプローチの出発点として広く考えられている。
  15. ^ Annals of the Computation Laboratory of Harvard University . Vol. 31. 1962. p. 180.この革命は成功するかどうかは定かではないが、新ベイズ主義と呼ばれる。ジェフリーズはこのアプローチを導入しようとしたが、当時は一般受けさせることに成功しなかった。
  16. ^ Kempthorne, Oscar (1967). 推論の古典的問題――適合度．第5回バークレー数理統計・確率シンポジウム．p. 235.倫理とは無関係な活動においてさえ、人類が宗教を求めるのは興味深いことです。現在、最も強く「推進」されている宗教はベイズ主義です。
  17. ^ Bernardo, JM (2005). 「参照分析」.ベイズ的思考 - モデリングと計算. 統計ハンドブック. 第25巻. 統計ハンドブック. pp.  17– 90. doi :10.1016/S0169-7161(05)25002-2. ISBN 9780444515391。
  18. ^ Wolpert, RL (2004). 「ジェームズ・O・バーガーとの会話」.統計科学. 9 : 205–218 . doi : 10.1214/088342304000000053 .
  19. ^ Bernardo, José M. (2006). ベイズ数理統計入門(PDF) . ICOTS-7. Bern. 2022年10月9日時点のオリジナルよりアーカイブ(PDF) 。
  20. ^ Bishop, CM (2007).パターン認識と機械学習. Springer.
  21. ^ スミス、C. レイ、エリクソン、ゲイリー (1989). 「合理性と一貫性からベイズ確率へ」. スキルリング、ジョン (編).最大エントロピーとベイズ法. ドルドレヒト: クルーワー. pp.  29– 44. doi :10.1007/978-94-015-7860-8_2. ISBN 0-7923-0224-9。
  22. ^ Halpern, J. (1999). 「CoxとFineの定理に対する反例」(PDF) . Journal of Artificial Intelligence Research . 10 : 67–85 . doi : 10.1613/jair.536 . S2CID 1538503. 2022年10月9日時点のオリジナルより アーカイブ(PDF) .
  23. ^ ハッキング（1967年）、第3章、316ページ
  24. ^ ハッキング（1988年、124ページ）
  25. ^ スカイルムス, ブライアン (1987年1月1日). 「動的コヒーレンスと確率運動学」.科学哲学. 54 (1): 1– 20. CiteSeerX 10.1.1.395.5723 . doi :10.1086/289350. JSTOR  187470. S2CID  120881078. 
  26. ^ ジョイス、ジェームズ（2003年9月30日）「ベイズの定理」スタンフォード哲学百科事典、stanford.edu。
  27. ^ Fuchs, Christopher A.; Schack, Rüdiger (2012年1月1日). 「ベイジアン・コンディショニング、反射原理、そして量子デコヒーレンス」. Ben-Menahem, Yemima; Hemmo, Meir (編). Probability in Physics . The Frontiers Collection. Springer Berlin Heidelberg. pp. 233–247. arXiv : 1103.5950 . doi :10.1007/978-3-642-21329-8_15. ISBN 9783642213281. S2CID  119215115。
  28. ^ ヴァン・フラッセン、バス（1989年）『法と対称性』オックスフォード大学出版局、ISBN 0-19-824860-1。
  29. ^ Wald, Abraham (1950).統計的決定関数. Wiley.
  30. ^ ベルナルド, ホセ・M.; スミス, エイドリアン・FM (1994).ベイズ理論. ジョン・ワイリー. ISBN 0-471-92416-4。
  31. ^ ファンツァグル（1967年、1968年）
  32. ^ モルゲンシュテルン（1976年、65ページ）
  33. ^ ガラヴォッティ、マリア・カルラ（1989年1月1日）「確率哲学における反実在論：ブルーノ・デ・フィネッティの主観主義」『エルケントニス』31（2/3）：239-261 . doi :10.1007/bf01236565. JSTOR  20012239. S2CID  170802937.
  34. ^ abc ガラヴォッティ, マリア・カルラ(1991年12月1日). 「ラムゼーとデ・フィネッティの研究における主観的確率の概念」. Theoria . 57 (3): 239– 259. doi :10.1111/j.1755-2567.1991.tb00839.x. ISSN  1755-2567.
  35. ^ ドキッチ, ジェローム; エンゲル, パスカル (2003).フランク・ラムゼイ: 真実と成功. ラウトレッジ. ISBN 9781134445936。
  36. ^ デイビッドソン他（1957）
  37. ^ ソーントン、スティーブン（2018年8月7日）「カール・ポパー」スタンフォード哲学百科事典、スタンフォード大学形而上学研究室。
  38. ^ ポッパー、カール (2002) [1959]. 『科学的発見の論理』（第2版）. ラウトレッジ. p. 57. ISBN 0-415-27843-0– Google ブックス経由。(1935 年のオリジナルのドイツ語翻訳)。
  39. ^ ピアース＆ジャストロウ（1885）
  40. ^ ab Bernardo, JM (2005). 「Reference Analysis」. Dey, DK; Rao, CR (編). Handbook of Statistics (PDF) . 第25巻. アムステルダム: Elsevier. pp.  17– 90. 2022年10月9日時点のオリジナルよりアーカイブ(PDF) .

参考文献

（一部転載：Gärdenfors, Peter ; Sahlin, Nils-Eric (1988). Decision, Probability, and Utility: Selected Readings . Cambridge University Press. ISBN 0-521-33658-9。）
  • Hajek, A.; Hartmann, S. (2010) [2001]. 「ベイズ的認識論」. Dancy, J.; Sosa, E.; Steup, M. (編) 『認識論への手引き』(PDF) . Wiley. ISBN 978-1-4051-3900-7. 2011年7月28日時点のオリジナル（PDF）からアーカイブ。
  • ハルド、アンダース（1998年）『1750年から1930年までの数理統計史』ニューヨーク：ワイリー、ISBN 978-0-471-17912-2。
  • ハートマン, S.; シュプレンガー, J. (2011). 「ベイズ的認識論」. ベルネッカー, S.; プリチャード, D. (編). ラウトレッジ・コンパニオン・トゥ・エピステモロジー(PDF) . ラウトレッジ. ISBN 978-0-415-96219-3. 2011年7月28日時点のオリジナル（PDF）からアーカイブ。
  • 「統計問題へのベイズ的アプローチ」、数学百科事典、EMSプレス、2001 [1994]
  • ハウソン, C. ; アーバック, P. (2005). 『科学的推論：ベイズ的アプローチ』（第3版）. Open Court Publishing Company . ISBN 978-0-8126-9578-6。
  • ジェインズ, ET (2003).確率論：科学の論理. C. University Press. ISBN 978-0-521-59271-0。（「1996年3月の断片版へのリンク」）
  • マクグレイン, SB (2011). 『死なない理論：ベイズの定理はいかにしてエニグマ暗号を解読し、ロシアの潜水艦を追跡し、2世紀にわたる論争から勝利を収めたのか』コネチカット州ニューヘイブン：エール大学出版局. ISBN 9780300169690. OCLC  670481486。
  • モルゲンシュテルン、オスカー(1978).「効用に関する考察」. ショッター、アンドリュー (編).オスカー・モルゲンシュテルンの経済学選集. ニューヨーク大学出版局. pp.  65– 70. ISBN 978-0-8147-7771-8。
  • パース, C.S. &ジャストロウ J. (1885). 「感覚における小さな違いについて」.米国科学アカデミー紀要. 3 : 73–83 .
  • Pfanzagl, J (1967). 「モルゲンシュテルン＝フォン・ノイマン効用理論から導かれる主観的確率」 . Martin Shubik (編).オスカー・モルゲンシュテルン記念数理経済学論文集. プリンストン大学出版局. pp. 237–251.
  • Pfanzagl, J.; Baumann, V. & Huber, H. (1968). 「事象、効用、そして主観的確率」.測定理論. Wiley. pp.  195– 220.
  • ラムゼー、フランク・プランプトン(2001) [1931]. 「第7章 真理と確率」. 『数学の基礎とその他の論理的エッセイ』 . ラウトレッジ. ISBN 0-415-22546-9。 「第7章 真実と確率」（PDF）。2008年2月27日時点のオリジナル（PDF）からアーカイブ。
  • スティグラー、SM（1990年）『統計の歴史：1900年以前の不確実性の測定』ベルナップ・プレス、ハーバード大学出版局。ISBN 978-0-674-40341-3。
  • スティグラー、SM（1999年）『表の統計：統計概念と手法の歴史』ハーバード大学出版局、ISBN 0-674-83601-4。
  • ストーン、JV (2013).ベイズの定理：ベイズ分析入門. イギリス：Sebtel Press. 「ベイズの定理の第1章」。
  • ウィンクラー, RL (2003).ベイズ推論と意思決定入門（第2版）. 確率論. ISBN 978-0-9647938-4-2古典的な教科書を改訂。ベイズ理論をわかりやすく解説