Probability theory concept
確率論において、条件付き独立性は、仮説の確実性を評価する際に、観測が無関係または冗長である状況を表します。これは条件付き従属の反対です。条件付き独立性は通常、条件付き確率の観点から、情報価値のない観測を与えられた仮説の確率が、情報価値のない観測がない場合の確率に等しいという特殊なケースとして定式化されます。 が仮説、 とが観測値である場合、条件付き独立性は等式として表すことができます。




ここで、 と の両方が与えられた場合の の確率です。が与えられた場合の の確率は、 と の両方が与えられた場合の の確率と同じであるため、この等式はが の確実性に何ら寄与しないことを表しています。この場合、と は が与えられた場合、条件付きで独立しているとされ、記号的に次のように表されます。















条件付き独立性の概念は、条件文の集合とグラフィドとの間の数学的関係を確立するため、グラフベースの統計的推論の理論にとって不可欠です。
事象の条件付き独立性
、、を事象とする。およびは、および のときのみ条件付き独立であるとされる。この性質は対称的であり(詳細は後述)、 と表記されることが多いが、これは と読み替えるべきである。










同様に、条件付き独立性はとの同時確率で表されます。はを与えられた場合のです。この別の定式化では、 とは が与えられた場合の独立した事象であると述べられています。







が と同等であることを示します。


同等の定義の証明

例
色付きのボックス
各セルは起こり得る結果を表しています。イベント、、 はそれぞれ赤、青、黄色の領域で表されます。イベント と の重なりは紫色で表されます 。





これらの事象の確率は、総面積に対する網掛けの領域で表されます。どちらの例でも、とは次の理由で条件付きで独立です。



[1]
ただし、次の理由により条件付きで独立ではありません。
![{\displaystyle \left[{\text{not }}{\color {gold}Y}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a0eb1bae763ed41724514977c2f1f04cc4f94b47)

近接性と遅延
事象Aと事象Bを、世界中から無作為に抽出されたAさんとBさんが夕食に間に合うように帰宅する確率と定義します。事象Aと事象Bは独立していると仮定できます。つまり、Aさんが遅刻するという知識は、Bさんが遅刻する確率にほとんど、あるいは全く影響を与えません。しかし、第三の事象、つまりAさんとBさんが同じ地域に住んでいるという事象が発生した場合、二つの事象は条件付きで独立しているとはみなされません。Aさんの行動を遅らせる可能性のある交通状況や天候関連の事象は、Bさんにも遅延をもたらす可能性があります。第三の事象とAさんが遅刻したという知識が与えられた場合、Bさんが遅刻する確率は有意に変化します。[2]
サイコロを振る
条件付き独立性は、3番目の事象の性質に依存します。2つのサイコロを振った場合、2つのサイコロは互いに独立して振舞うと仮定できます。1つのサイコロの出目を見ても、2番目のサイコロの出目は分かりません(つまり、2つのサイコロは独立しています)。しかし、1番目のサイコロの出目が3で、誰かが3番目の事象について、つまり2つの出目の合計が偶数であると伝えた場合、この追加情報によって2番目の出目の選択肢は奇数に制限されます。言い換えれば、2つの事象は独立していても、条件付き独立ではないということです。[2]
身長と語彙力
身長と語彙力は相関関係にあります。なぜなら、非常に背の低い人は子供であることが多く、より基本的な語彙力で知られているからです。しかし、2人が19歳(つまり年齢を条件とする)であることを考えると、どちらかが身長が高いと言われても、その人の語彙力の方が豊富であると考える理由はありません。
確率変数の条件付き独立性
2つの離散確率変数 およびが、3つ目の離散確率変数が与えられたときに条件付き独立となるのは、 が与えられたときに条件付き確率分布において独立である場合に限ります。つまり、 の任意の値が与えられたとき、 の確率分布がのすべての値に対して同じであり、 の確率分布が のすべての値に対して同じである場合に限ります。正式には、












 | | 式2 |
ここで、 は の条件付き累積分布関数であり、が与えられています。




2つの事象とがσ-代数のもとで条件付き独立であるとき、



ここで、はシグマ代数 が与えられた場合の、事象の指示関数の条件付き期待値を表す。つまり、




![{\displaystyle \Pr(A\mid \Sigma ):=\operatorname {E} [\chi _{A}\mid \Sigma ].}](https://wikimedia.org/api/rest_v1/media/math/render/svg/db4e749c3a141448b439396447227211c11aa216)
2 つの確率変数およびは、上式が および のすべての に対して成り立つ場合、σ-代数が与えられた条件付きで独立しています。







2つの確率変数とが確率変数に対して条件付き独立である場合、σ ( W )が独立である。σ-代数は、によって生成される。これは一般的に次のように表記される。




または

これは、「は から独立している、与えられた」と読みます。条件付けは、ステートメント全体に適用されます: 「(は から独立している) が与えられた」。






この表記は、「は とは独立している」に拡張されます。



が可算な値の集合を仮定する場合、これはXとYの形式事象に対する条件付き独立性と等価です。2つ以上の事象、または3つ以上の確率変数の条件付き独立性も同様に定義されます。

![{\displaystyle [W=w]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e55acd7d0b952abbf759bed1372bd3b9956f3021)
次の 2 つの例は、が を意味しないこと、また が によって を意味しないことを示しています。

まず、が確率0.5で0、そうでない場合は1であると仮定します。W = 0のとき、とが独立であるとみなし、それぞれが確率0.99で値0、そうでない場合は値1を持ちます。のとき、、、は再び独立ですが、今回は確率0.99で値1を持ちます。次に。しかし、 Pr( X = 0) < Pr( X = 0| Y = 0)であるため、とが従属しています 。これは、Pr( X = 0) = 0.5であるからですが、Y = 0の場合はW = 0、したがってX = 0 になる可能性が非常に高い ため、Pr( X = 0| Y = 0) > 0.5となります。









2つ目の例として、がそれぞれ確率0.5で0と1の値を取ると仮定します。を積 とします。 のとき、 Pr( X = 0) = 2/3 ですが、 Pr( X = 0| Y = 0) = 1/2 となるため、 は偽となります。これもまた、Explaining Awayの例です。Kevin Murphyのチュートリアル[3]を参照してください。ここで、 と はそれぞれ「brainy(頭が良い)」と「sporty(スポーツ好き)」の値を取ります。







ランダムベクトルの条件付き独立性
2つのランダムベクトル とが、3つ目のランダムベクトルが与えられたときに条件付きで独立であるのは、それらが与えられた条件付き累積分布において独立である場合に限ります。正式には次のようになります。




 | | 式3 |
ここで、、および条件付き累積分布は次のように定義されます。



![{\displaystyle {\begin{aligned}F_{\mathbf {X} ,\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} ,\mathbf {y} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l},Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {X} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {x} )&=\Pr(X_{1}\leq x_{1},\ldots ,X_{l}\leq x_{l}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\\[6pt]F_{\mathbf {Y} \,\mid \,\mathbf {Z} \,=\,\mathbf {z} }(\mathbf {y} )&=\Pr(Y_{1}\leq y_{1},\ldots ,Y_{m}\leq y_{m}\mid Z_{1}=z_{1},\ldots ,Z_{n}=z_{n})\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e15a5820cfde986cae5d47cd4c1670c962f6072)
ベイズ推論における用途
今後の国民投票で「賛成」票を投じる有権者の割合をpとする。世論調査では、人口からn人の有権者を無作為に選出する。i = 1, ..., nに対し、X i = 1 または 0 とし、それぞれi番目に選出された有権者が「賛成」票を投じる か否かに対応する。
統計的推論に対する頻度主義的アプローチでは、確率分布をpに帰することはなく(確率が何らかのイベントの発生の相対頻度または何らかの母集団の割合として解釈できる場合を除く)、X 1、...、X nは独立したランダム変数
であると言えます。
対照的に、ベイズ統計的推論アプローチでは、そのような「頻度」解釈が存在しないにもかかわらず、pに確率分布を割り当て、確率を、確率が割り当てられた任意の区間にpが存在するという確信度として解釈します。このモデルでは、確率変数X 1、…、 X n は独立ではありませんが、 pの値が与えられた場合、条件付きで独立しています。特に、多数のXが1に等しいことが観測された場合、その観測値を考慮するとpが1に近いという条件付き確率が高くなり、したがって、その観測値を考慮すると、次に観測されるXが1に等しい
という条件付き確率も高くなります。
条件付き独立性のルール
条件付き独立性の記述を規定する一連の規則は、基本定義から導き出されている。[4] [5]
これらの規則は、グラフ上で成り立つため、パールとパスによって「グラフィド公理」と名付けられました。[6]ここで、は「 XからAへのすべてのパスは集合Bによって遮断される」という意味に解釈されます。[7]
対称

証拠:
条件付き独立の定義から、

分解

証明
条件付き独立性の定義から、次のことを証明します。

この等式の左辺は次のようになります。

となる。ここで、この等式の右辺の式は、におけるの条件付き確率のに対する和である。さらに分解すると、





この特性の特殊な例としては、
- 証明:を「抽出」関数として定義します。すると、次のようになります。




- 証明:を再び「抽出」関数として定義します。すると、次のようになります。




弱い連合

証拠:
を前提として、我々は以下を示すことを目指す。


方程式の左辺から始めます

与えられた条件から

. したがって、 であることが示されました。


特殊なケース:
いくつかの教科書では、この性質を次のように説明しています。
. [8]
。
どちらのバージョンも、上記の分解セクションと同じ方法で最初に与えられた弱い結合プロパティに従うことが示されます。
収縮

証拠
この特性は に気づくことで証明できます。 のそれぞれの等式は、それぞれ と によって主張されます。



交差点
厳密に正の確率分布の場合、[5]次も成り立ちます。

証拠
仮定により:

この等式と全確率の法則を適用すると、次のようになります。

![{\displaystyle {\begin{aligned}P(X|Z)&=\sum _{w\in W}P(X|Z,W=w)P(W=w|Z)\\[4pt]&=\sum _{w\in W}P(X|Y,Z)P(W=w|Z)\\[4pt]&=P(X|Z,Y)\sum _{w\in W}P(W=w|Z)\\[4pt]&=P(X|Z,Y)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cdad58c7362d46ef35cfb708ff4bb237add0c8f3)
および なので、が成り立ちます。



技術的注記:これらの含意は任意の確率空間に当てはまるため、例えばKといった別の変数を条件としてサブユニバースを考えた場合でも、依然として当てはまります 。例えば、は を意味します。


参照
参考文献
- ^ これが事実であることを理解するためには、Pr( R ∩ B | Y ) がY領域におけるRとB(紫色の網掛け部分)の重なりの確率であることを理解する必要があります。左の図では、Y領域内にRとB が重なり合う正方形が 2 つあり、Y領域には 12 個の正方形があるため、Pr( R ∩ B | Y ) = 2/12 = 1/6同様に、Pr( R | Y ) = 4/12 = 1/3そして Pr( B | Y ) = 6/12 = 1/2。
- ^ ab 条件付き独立性について誰か説明してもらえますか?
- ^ 「グラフィカルモデル」。
- ^ Dawid, AP (1979). 「統計理論における条件付き独立性」.王立統計学会誌, シリーズB. 41 ( 1): 1– 31. JSTOR 2984718. MR 0535541.
- ^ ab J Pearl, 因果関係:モデル、推論、推論、2000年、ケンブリッジ大学出版局
- ^ Pearl, Judea ; Paz, Azaria (1986). 「グラフィド:関連性関係の推論のためのグラフベースロジック、または、zが既にわかっている場合、xはyについてより詳しく教えてくれるのはいつだろうか?」 du Boulay, Benedict; Hogg, David C.; Steels, Luc (編). 「Advances in Artificial Intelligence II」、第7回ヨーロッパ人工知能会議、ECAI 1986、ブライトン、イギリス、1986年7月20~25日、議事録(PDF)。North-Holland. pp. 357– 363.
- ^ パール、ジューディア(1988年)『知能システムにおける確率的推論:尤もらしい推論のネットワーク』モーガン・カウフマン著、ISBN 9780934613736。
- ^ コラー、ダフネ、フリードマン、ニール (2009).確率的グラフィカルモデル. ケンブリッジ、マサチューセッツ州: MIT プレス. ISBN 9780262013192。
外部リンク
ウィキメディア・コモンズの条件付き独立性に関するメディア