確率表記におけるビッグオー

確率記法における順序は、数学で標準的なビッグオー記法とほぼ同等に、確率論および統計理論において用いられます。ビッグオー記法が通常の数の列または集合の収束を扱うのに対し、確率記法における順序は確率変数の集合の収束を扱います。ここでの収束とは、確率における収束のことです。^[1]

定義

小さいo：確率の収束

確率変数X _nの集合とそれに対応する定数a _nの集合（どちらもnで添え字が付けられ、離散的である必要はない）に対して、

${\displaystyle X_{n}=o_{p}(a_{n})}$

は、 nが適切な限界に近づくにつれて、値の集合X _n / a _nが確率的にゼロに収束することを意味する。同様に、 X _n = o _p ( a _n )はX _n / a _n  = o _p (1)と書くことができ、すなわち

${\displaystyle \lim _{n\to \infty }P\left[\left|{\frac {X_{n}}{a_{n}}}\right|\geq \varepsilon \right]=0,}$

あらゆる正のεに対して。^[2]

大きいお: 確率的有界性

表記

${\displaystyle X_{n}=O_{p}(a_{n}){\text{as }}n\to \infty}$

は、 X _n / a _nの値の集合が確率的に有界であることを意味する。つまり、任意のε > 0 に対して、有限のM > 0 と有限のN > 0 が存在し、

${\displaystyle P\left(|{\frac {X_{n}}{a_{n}}}|>M\right)<\varepsilon ,\;\forall \;n>N.}$

2つの定義の比較

定義の違いは微妙です。極限の定義を用いると、次のようになります。

• 大きい：${\displaystyle O_{p}(1)}$ ${\displaystyle \forall \varepsilon \quad \exists N_{\varepsilon },\delta _{\varepsilon }\quad {\text{ }}P(|X_{n}|\geq \delta _{\varepsilon })\leq \varepsilon \quad \forall n>N_{\varepsilon }} が成り立つ$
• 小さい：${\displaystyle o_{p}(1)}$ ${\displaystyle \forall \varepsilon,\delta \quad \exists N_{\varepsilon,\delta }\quad {\text{ }}P(|X_{n}|\geq \delta )\leq \varepsilon \quad \forall n>N_{\varepsilon,\delta }} が成り立つ$

違いは にあります。確率的有界性については、不等式を満たす1 つの（任意の大きさの） が存在し、に依存してもよい（したがって）だけで十分です。一方、収束性については、 1 つの だけでなく、任意の（任意の大きさの） に対しても が成立する必要があります。ある意味では、これはシーケンスが有界であり、サンプルサイズが大きくなるにつれて境界が小さくなることを意味します。 ${\displaystyle \delta }$ ${\displaystyle \delta }$ ${\displaystyle \delta }$ ${\displaystyle \varepsilon }$ ${\displaystyle \delta _{\varepsilon }}$ ${\displaystyle \delta }$

これは、数列がならば である、つまり確率収束は確率的有界性を意味することを示唆している。しかし、逆は成り立たない。 ${\displaystyle o_{p}(1)}$ ${\displaystyle O_{p}(1)}$

例

が各要素が有限分散を持つ確率系列である 場合、${\displaystyle (X_{n})}$

${\displaystyle X_{n}-E(X_{n})=O_{p}\left({\sqrt {\operatorname {var} (X_{n})}}\right)}$

（Bishopらの定理14.4-1を参照）

さらに、実数列に対する零列が零列である場合、チェビシェフの不等式により確率的に零に収束するので、 ${\displaystyle a_{n}^{-2}\operatorname {var} (X_{n})=\operatorname {var} (a_{n}^{-1}X_{n})}$ ${\displaystyle (a_{n})}$ ${\displaystyle a_{n}^{-1}(X_{n}-E(X_{n}))}$

${\displaystyle X_{n}-E(X_{n})=o_{p}(a_{n})。}$

参考文献

1. Dodge, Y. (2003)オックスフォード統計用語辞典、OUP. ISBN 0-19-920613-9
2. Yvonne M. Bishop、Stephen E.Fienberg、Paul W. Holland (1975, 2007)離散多変量解析、Springer、ISBN 0-387-72805-8、ISBN 978-0-387-72805-6