確率変数の収束の証明

この記事は「確率変数の収束」の補足であり、選択された結果の証明を示しています

ポートマントー補題を使用していくつかの結果が確立されます。シーケンス{ X _n }は、次の条件のいずれかが満たされる場合にのみ、 分布的にXに収束します。

1. ${\displaystyle \mathbb {E} [f(X_{n})]\to \mathbb {E} [f(X)]}$ すべての有界連続関数 に対して; ${\displaystyle f}$
2. ${\displaystyle \mathbb {E} [f(X_{n})]\to \mathbb {E} [f(X)]}$ すべての有界リプシッツ関数 に対して; ${\displaystyle f}$
3. ${\displaystyle \limsup \operatorname {Pr} (X_{n}\in C)\leq \operatorname {Pr} (X\in C)}$ すべての閉集合 に対して; ${\displaystyle C}$

収束はほぼ確実に確率の収束を意味する

${\displaystyle X_{n}\ {\overset {\mathrm {as} }{\rightarrow }}\ X\quad \Rightarrow \quad X_{n}\ {\overset {p}{\rightarrow }}\ X}$

証明：がほぼ確実に収束する場合、それは点の集合が測度0であることを意味する。ここで、集合の列を固定して考える。 ${\displaystyle \{X_{n}\}}$ ${\displaystyle X}$ ${\displaystyle O=\{\omega \mid \lim X_{n}(\omega )\neq X(\omega )\}}$ ${\displaystyle \varepsilon >0}$

${\displaystyle A_{n}=\bigcup _{m\geq n}\left\{\left|X_{m}-X\right|>\varepsilon \right\}}$

このセットのシーケンスは、セットに向かって減少します（ ）。 ${\displaystyle A_{n}\supseteq A_{n+1}\supseteq \ldots }$

${\displaystyle A_{\infty }=\bigcap _{n\geq 1}A_{n}.}$

この数列の確率も減少するので となる。ここで、この数がゼロであることを示す。の外側の任意の点について が成り立つ。これは、すべての に対して、ある に対してが成り立つことを意味する。特に、そのような に対して は点はには属さず、したがって にも属さない。したがって、となり、 となる。 ${\displaystyle \lim \operatorname {Pr} (A_{n})=\operatorname {Pr} (A_{\infty })}$ ${\displaystyle \omega }$ ${\displaystyle O}$ ${\displaystyle \lim X_{n}(\omega )=X(\omega )}$ ${\displaystyle \left|X_{n}(\omega )-X(\omega )\right|<\varepsilon }$ ${\displaystyle n\geq N}$ ${\displaystyle N}$ ${\displaystyle N}$ ${\displaystyle \omega }$ ${\displaystyle A_{N}}$ ${\displaystyle A_{\infty }}$ ${\displaystyle A_{\infty }\subseteq O}$ ${\displaystyle \operatorname {Pr} (A_{\infty })=0}$

最後に、上記の続きから、

${\displaystyle \operatorname {Pr} \left(|X_{n}-X|>\varepsilon \right)\leq \operatorname {Pr} (A_{n})\ {\underset {n\to \infty }{\rightarrow }}0,}$

これは定義により、確率的に に収束することを意味します。 ${\displaystyle X_{n}}$ ${\displaystyle X}$

確率収束は離散的なケースではほぼ確実に収束することを意味するわけではない

X _nが独立確率変数であり、確率 1/ nで値が1 、それ以外の場合は0であると仮定すると、X _{n は}確率的に0に収束しますが、ほぼ確実に収束するわけではありません。これはボレル・カンテリの補題を用いて検証できます。

確率の収束は分布の収束を意味する

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X\quad \Rightarrow \quad X_{n}\ {\xrightarrow {d}}\ X,}$

スカラー確率変数の場合の証明

補題X , Yを確率変数とし、a を実数、ε > 0 とする。すると

${\displaystyle \operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).}$

補題の証明：

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)&=\operatorname {Pr} (Y\leq a,\ X\leq a+\varepsilon )+\operatorname {Pr} (Y\leq a,\ X>a+\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X\leq a-X,\ a-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )\\&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (Y-X<-\varepsilon )+\operatorname {Pr} (Y-X>\varepsilon )\\&=\operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon )\end{aligned}}}$

補題の短縮証明：

となる

${\displaystyle {\begin{aligned}\{Y\leq a\}\subset \{X\leq a+\varepsilon \}\cup \{|Y-X|>\varepsilon \}\end{aligned}}}$

およびならば、となる。したがって、和界により、 ${\displaystyle Y\leq a}$ ${\displaystyle |Y-X|\leq \varepsilon }$ ${\displaystyle X\leq a+\varepsilon }$

${\displaystyle {\begin{aligned}\operatorname {Pr} (Y\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|Y-X|>\varepsilon ).\end{aligned}}}$

定理の証明：分布の収束を証明するには、累積分布関数の列が、F _{X が}連続となるすべての点においてF _Xに収束することを示さなければならないことを思い出してください。そのような点をaとします。すべての ε > 0 に対して、前述の補題により、次式が成り立ちます。

${\displaystyle {\begin{aligned}\operatorname {Pr} (X_{n}\leq a)&\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\\\operatorname {Pr} (X\leq a-\varepsilon )&\leq \operatorname {Pr} (X_{n}\leq a)+\operatorname {Pr} (|X_{n}-X|>\varepsilon )\end{aligned}}}$

したがって、

${\displaystyle \operatorname {Pr} (X\leq a-\varepsilon )-\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right)\leq \operatorname {Pr} (X_{n}\leq a)\leq \operatorname {Pr} (X\leq a+\varepsilon )+\operatorname {Pr} \left(\left|X_{n}-X\right|>\varepsilon \right).}$

n → ∞ の極限をとると、次の式が得られます

${\displaystyle F_{X}(a-\varepsilon )\leq \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)\leq F_{X}(a+\varepsilon ),}$

ここで、F _X ( a ) = Pr( X ≤ a )はXの累積分布関数である。この関数は仮定によりaで連続であるため、 ε → 0 ^{+のとき、} F _X ( a −ε)とF _X ( a +ε)はともにF _X ( a )に収束する。この極限をとると、

${\displaystyle \lim _{n\to \infty }\operatorname {Pr} (X_{n}\leq a)=\operatorname {Pr} (X\leq a),}$

これは{ X _n }が分布において Xに収束することを意味します。

一般的なケースの証明

このプロパティはこのページの後半で証明されており、そのプロパティのステートメントで X _n = Xを取ることで、 X _nがランダムベクトルである場合の含意がわかります。

分布が定数に収束することは確率が収束することを意味する

${\displaystyle X_{n}\ {\xrightarrow {d}}\ c\quad \Rightarrow \quad X_{n}\ {\xrightarrow {p}}\ c,}$ ただし、cは定数です。

証明： ε > 0とする。B _ε ( c )を点cの周りの半径 ε の開球とし、B _ε ( c ) ^{c を}その補球とする。すると

${\displaystyle \operatorname {Pr} \left(|X_{n}-c|\geq \varepsilon \right)=\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right).}$

かばん補題（C部）によれば、X _{n が}分布収束においてcに収束する場合、後者の確率のlimsupはPr( c ∈ B _ε ( c ) ^c )以下でなければならない。これは明らかに0である。したがって、

${\displaystyle {\begin{aligned}\lim _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)&\leq \limsup _{n\to \infty }\operatorname {Pr} \left(\left|X_{n}-c\right|\geq \varepsilon \right)\\&=\limsup _{n\to \infty }\operatorname {Pr} \left(X_{n}\in B_{\varepsilon }(c)^{c}\right)\\&\leq \operatorname {Pr} \left(c\in B_{\varepsilon }(c)^{c}\right)=0\end{aligned}}}$

これは定義により、X _{n が}確率的にcに収束することを意味します。

分布が収束する系列への確率収束は、同じ分布への収束を意味する。

${\displaystyle |Y_{n}-X_{n}|\ {\xrightarrow {p}}\ 0,\ \ X_{n}\ {\xrightarrow {d}}\ X\ \quad \Rightarrow \quad Y_{n}\ {\xrightarrow {d}}\ X}$

証明:この定理をPortmanteau lemmaのパートBを使って証明する。その補題で要求されているように、Lipschitzでも ある任意の有界関数f（すなわち| f ( x )| ≤ M ）を考える。

${\displaystyle \exists K>0,\forall x,y:\quad |f(x)-f(y)|\leq K|x-y|.}$

ε > 0 をとり、式 |E[ f ( Y _n )] − E[ f ( X _n )]| を次のように 表す。

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|&\leq \operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\right]\\&=\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[\left|f(Y_{n})-f(X_{n})\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq \operatorname {E} \left[K\left|Y_{n}-X_{n}\right|\mathbf {1} _{\left\{|Y_{n}-X_{n}|<\varepsilon \right\}}\right]+\operatorname {E} \left[2M\mathbf {1} _{\left\{|Y_{n}-X_{n}|\geq \varepsilon \right\}}\right]\\&\leq K\varepsilon \operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|<\varepsilon \right)+2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\\&\leq K\varepsilon +2M\operatorname {Pr} \left(\left|Y_{n}-X_{n}\right|\geq \varepsilon \right)\end{aligned}}}$

（ここで1 _{...}は指標関数を表し、指標関数の期待値は対応する事象の確率に等しい）。したがって、

${\displaystyle {\begin{aligned}\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|&\leq \left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X_{n})\right]\right|+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\\&\leq K\varepsilon +2M\operatorname {Pr} \left(|Y_{n}-X_{n}|\geq \varepsilon \right)+\left|\operatorname {E} \left[f(X_{n})\right]-\operatorname {E} \left[f(X)\right]\right|.\end{aligned}}}$

この式においてn → ∞の極限をとると、{ Y _n −X _n }は確率的にゼロに収束する ため、第2項はゼロになります。また、第3項も、ポートマントー補題とX _nが分布的に Xに収束するという事実により、ゼロに収束します。したがって、

${\displaystyle \lim _{n\to \infty }\left|\operatorname {E} \left[f(Y_{n})\right]-\operatorname {E} \left[f(X)\right]\right|\leq K\varepsilon .}$

εは任意であるため、極限は実際にはゼロに等しくなければならないと結論付けられ、したがってE[ f ( Y _n )] → E[ f ( X )]となり、これもまたポートマントー補題により{ Y _n }が分布においてXに収束することを意味します。QED。

分布における1つのシーケンスと別のシーケンスが定数に収束することは、分布における同時収束を意味する。

${\displaystyle X_{n}\ {\xrightarrow {d}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ c\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {d}}\ (X,c)}$ ただし、cは定数です。

証明: Portmanteau lemma のパート A を使用してこのステートメントを証明します。

まず、 ( X _n , c ) が ( X , c )に分布収束することを示します。 混成補題により、任意の有界連続関数f ( x , y ) に対して E[ f ( X _n , c )] → E[ f ( X , c )] が示されれば、これは真になります。 そこでf をそのような任意の有界連続関数とします。 次に、単一変数関数g ( x ) := f ( x , c ) を考えます。 これも明らかに有界かつ連続なので、混成補題により、シーケンス { X _n } がXに分布収束する場合は、 E[ g ( X _n )] → E[ g ( X )] となります。 ただし、後者の表現は「E[ f ( X _n , c )] → E[ f ( X , c )]」と同等なので、 ( X _n , c ) が ( X , c )に分布収束することがわかります。

次に、|( X _n , Y _n ) − ( X _n , c )| = | Y _n − c | を考えます。この式は確率的にゼロに収束します。なぜなら、Y _{n は}確率的にcに収束するからです。したがって、以下の2つの事実が証明されました。

${\displaystyle {\begin{cases}\left|(X_{n},Y_{n})-(X_{n},c)\right|\ {\xrightarrow {p}}\ 0,\\(X_{n},c)\ {\xrightarrow {d}}\ (X,c).\end{cases}}}$

前に証明した性質により、これら2つの事実は、( X _n、Y _n )が分布収束において( X、c )に収束することを意味します。

確率における2つのシーケンスの収束は、確率における同時収束を意味する。

${\displaystyle X_{n}\ {\xrightarrow {p}}\ X,\ \ Y_{n}\ {\xrightarrow {p}}\ Y\ \quad \Rightarrow \quad (X_{n},Y_{n})\ {\xrightarrow {p}}\ (X,Y)}$

証拠：

${\displaystyle {\begin{aligned}\operatorname {Pr} \left(\left|(X_{n},Y_{n})-(X,Y)\right|\geq \varepsilon \right)&\leq \operatorname {Pr} \left(|X_{n}-X|+|Y_{n}-Y|\geq \varepsilon \right)\\&\leq \operatorname {Pr} \left(|X_{n}-X|\geq \varepsilon /2\right)+\operatorname {Pr} \left(|Y_{n}-Y|\geq \varepsilon /2\right)\end{aligned}}}$

ここで、最後のステップは鳩の巣原理と確率測度の劣加法性に従う。右辺の各確率は、{ X _n }と{ Y _n }がそれぞれXとYに確率収束するという定義により、 n → ∞でゼロに収束する。極限をとると、左辺もゼロに収束し、したがって数列{( X _n , Y _n )}は{( X , Y )} に確率収束する。

参照

• 確率変数の収束

参考文献

• van der Vaart, Aad W. (1998).漸近統計学. ニューヨーク: Garrick Ardis. ISBN 978-0-521-49603-2。