中心極限定理の図解

確率論における中心極限定理（CLT）は、多くの状況において、独立かつ同一分布に従う確率変数を加算すると、それらの適切に正規化された和は正規分布に近づくことを示しています。この記事では、この定理を2つの例で示します。どちらも独立かつ同一分布に従う確率変数の和を扱い、和の項数が増加するにつれて、 和の確率分布が正規分布に近づく様子を示します。

最初の図は連続確率分布を扱っており、その確率変数は確率密度関数を持ちます。2番目の図は、計算の大部分を手作業で行うことができる離散確率分布を扱っており、その確率質量関数によって特徴付けられます。

連続ケースの図解

2 つの独立した実数値ランダム変数の合計の密度は、元の変数の密度関数の 畳み込みに等しくなります。

したがって、独立かつ同一分布に従う変数の列のm + n項の和の密度は、m項の和とn項の和の密度の畳み込みに等しい。特に、n +1項の和の密度は、 n項の和の密度と元の密度（1項の「和」） の畳み込みに等しい。

下の最初の図は、確率密度関数を示しています。次に、それぞれ元の密度を持つ、2つ、3つ、4つの独立した同一分布の変数の和の密度を次の図に示します。元の密度が例のように区分多項式である場合、和の密度も高次化していく区分多項式になります。元の密度は正規分布から大きく離れていますが、その密度を持つ少数の変数の和の密度ははるかに滑らかで、正規分布の密度の質的特徴のいくつかを備えています。

畳み込みは離散フーリエ変換によって計算された。値のリストy = f ( x 0 + k Δ x ) が作成された。ここで、fは元の密度関数、 Δ xはおよそ0.002、kは0から1000である。 yの離散フーリエ変換Yが計算された。すると、 fとそれ自身の畳み込みは、Yとそれ自身の点ごとの積の逆離散フーリエ変換に比例する。

確率密度関数。

元の確率密度関数

まず、確率密度関数から始めます。この関数は不連続ではありますが、考えられる最も病的な例とは全く異なります。これは0次と1次の区分多項式です。この分布の平均は0、標準偏差は1です。

2 つの変数の合計の密度。

2つの項の和の確率密度関数

次に、それぞれ上記の密度を持つ2つの独立変数の和の密度を計算します。和の密度は、上記の密度とそれ自身との 畳み込みです。

2 つの変数の合計の平均は 0 です。右の図に示す密度は によって再スケール化されており、標準偏差は 1 です。 2{\displaystyle {\sqrt {2}}}

この密度は元の密度よりも滑らかになっています。元の密度が定義された 間隔に対応する、明らかな凹凸があります。

3 つの変数の合計の密度。

3つの項の和の確率密度関数

次に、それぞれ上記の密度を持つ3つの独立変数の和の密度を計算します。和の密度は、最初の密度と2番目の密度の畳み込みです。

3 つの変数の合計の平均は 0 です。右の図に示す密度は√ 3で再スケールされているため、標準偏差は 1 です。

この密度は前のものよりもさらに滑らかで、この図では塊はほとんど確認できません。

4つの変数の合計の密度

4つの項の和の確率密度関数

最後に、それぞれ上記の密度を持つ4つの独立変数の和の密度を計算します。和の密度は、最初の密度と3番目の密度（または2番目の密度とそれ自身）の畳み込みです。

4 つの変数の合計の平均は 0 です。右の図に示す密度は√ 4で再スケールされているため、標準偏差は 1 です。

この密度は、質的に通常の密度と非常に類似しており、肉眼では塊を判別できません。

離散ケースの図解

このセクションでは、前のセクションのより計算集約的な例とは異なり、手作業で紙に素早く計算できる例を使用して中心極限定理を説明します。

整数1、2、3の集合から選択された長さ1のすべての順列の合計

元の確率質量関数

離散確率変数Xの確率分布が1、2、3に等しい重みを付けていると仮定します。

X＝｛1と 確率 1／3、2と 確率 1／3、3と 確率 1／3.{\displaystyle X=\left\{{\begin{matrix}1&{\mbox{with}}\ {\mbox{probability}}\ 1/3,\\2&{\mbox{with}}\ {\mbox{probability}}\ 1/3,\\3&{\mbox{with}}\ {\mbox{probability}}\ 1/3.\end{matrix}}\right.}

確率変数Xの確率質量関数は次の棒グラフで表すことができます。

これは明らかに正規分布のベル型曲線とは全く異なります。上の図と下の図を比較してみましょう。

整数1、2、3の集合から選択された長さ2のすべての順列の合計

2つの項の和の確率質量関数

ここで、 Xの2つの独立したコピーの合計を考えます。

｛1＋1＝21＋2＝31＋3＝42＋1＝32＋2＝42＋3＝53＋1＝43＋2＝53＋3＝6}＝｛2と 確率 1／93と 確率 2／94と 確率 3／95と 確率 2／96と 確率 1／9}{\displaystyle \left\{{\begin{matrix}1+1&=&2\\1+2&=&3\\1+3&=&4\\2+1&=&3\\2+2&=&4\\2+3&=&5\\3+1&=&4\\3+2&=&5\\3+3&=&6\end{matrix}}\right\}=\left\{{\begin{matrix}2&{\mbox{with}}\ {\mbox{確率}}\ 1/9\\3&{\mbox{with}}\ {\mbox{確率}}\ 2/9\\4&{\mbox{with}}\ {\mbox{確率}}\ 3/9\\5&{\mbox{with}}\ {\mbox{確率}}\ 2/9\\6&{\mbox{with}}\ {\mbox{確率}}\ 1/9\end{matrix}}\right\}}

この合計の確率質量関数は次のように表すことができます。

これはまだベル型曲線にはあまり似ていませんが、ベル型曲線と同様に、X自体の確率質量関数とは異なり、両端よりも中央の方が高くなっています。

整数1、2、3の集合から選択された長さ3のすべての順列の合計

3つの項の和の確率質量関数

ここで、このランダム変数の 3 つの独立したコピーの合計を考えます。

｛1＋1＋1＝31＋1＋2＝41＋1＋3＝51＋2＋1＝41＋2＋2＝51＋2＋3＝61＋3＋1＝51＋3＋2＝61＋3＋3＝72＋1＋1＝42＋1＋2＝52＋1＋3＝62＋2＋1＝52＋2＋2＝62＋2＋3＝72＋3＋1＝62＋3＋2＝72＋3＋3＝83＋1＋1＝53＋1＋2＝63＋1＋3＝73＋2＋1＝63＋2＋2＝73＋2＋3＝83＋3＋1＝73＋3＋2＝83＋3＋3＝9}＝｛3と 確率 1／274と 確率 3／275と 確率 6／276と 確率 7／277と 確率 6／278と 確率 3／279と 確率 1／27}{\displaystyle \left\{{\begin{matrix}1+1+1&=&3\\1+1+2&=&4\\1+1+3&=&5\\1+2+1&=&4\\1+2+2&=&5\\1+2+3&=&6\\1+3+1&=&5\\1+3+2&=&6\\1+3+3&=&7\\2+1+1&=&4\\2+1+2&=&5\\2+1+3&=&6\\2+2+1&=&5\\2+2+2&=&6\\2+2+3&=&7\\2 +3+1&=&6\\2+3+2&=&7\\2+3+3&=&8\\3+1+1&=&5\\3+1+2&=&6\\3+1+3&=&7\\3+2+1&=&6\\3+2+2&=&7\\3+2+3&=&8\\3+3+1&=&7\\3+3+2&=&8\\3+3+3&=&9\end{matrix}}\right\}=\left\{{\begin{matrix}3&{\mbox{with}}\ {\mbox{確率}}\ 1/27\\4&{\mbox{with}}\ {\mbox{確率}}\ 3/27\\5&{\mbox{with}}\ {\mbox{確率}}\ 6/27\\6&{\mbox{with}}\ {\mbox{確率}}\ 7/27\\7&{\mbox{with}}\ {\mbox{確率}}\ 6/27\\8&{\mbox{with}}\ {\mbox{確率}}\ 3/27\\9&{\mbox{with}}\ {\mbox{確率}}\ 1/27\end{matrix}}\right\}}

この合計の確率質量関数は次のように表すことができます。

これは中央の方が末端よりも大きいだけでなく、どちらかの末端から中央に向かって移動すると、ベル型曲線の場合と同様に、傾斜は最初は増加し、その後減少します。

ベル型曲線との類似度は次のように定量化できる。

Pr( X 1 + X 2 + X 3 ≤ 7) = 1/27 + 3/27 + 6/27 + 7/27 + 6/27 = 23/27 = 0.85185... 。

これは正規近似値にどれくらい近いでしょうか？ Y = X 1 + X 2 + X 3の期待値は6であり、 Yの標準偏差は2の平方根であることが容易に分かります。Y ≤ 7（弱い不等式）はY < 8（厳密な不等式）の場合にのみ成り立つため、連続補正を用いて

Pr（Y≤7.5)＝P（Y−62≤7.5−62)＝Pr（Z≤1.0606602…)＝0.85558…{\displaystyle {\mbox{Pr}}(Y\leq 7.5)={\mbox{P}}\left({Y-6 \over {\sqrt {2}}}\leq {7.5-6 \over {\sqrt {2}}}\right)={\mbox{Pr}}(Z\leq 1.0606602\dots)=0.85558\dots }

ここで、Zは標準正規分布に従います。追加された 独立確率変数の数がわずか3つであることを考慮すると、0.85185...と0.85558...の差は驚くほど小さいように見えます。

1,000項の和の確率質量関数

以下の画像は、このページで示した例に基づいたシミュレーション結果です。一様分布からの抽出を1,000回繰り返し、その結果を合計しています。

シミュレーションはモンテカルロ法に基づいているため、このプロセスは10,000回繰り返されます。結果は、1,000回の均一抽出の合計の分布がベル型曲線に非常によく似ていることを示しています。

「 https://en.wikipedia.org/w/index.php?title=Illustration_of_the_central_limit_theorem&oldid=1303908531」より取得