正規分布に関する誤解

統計学や確率論 を学ぶ学生は、正規分布について誤解を抱くことがあります。それは一見もっともらしい考え方ですが、数学的には正しくありません。例えば、2つの線形無相関で正規分布する確率変数は統計的に独立しているはずだと誤解されることがあります。しかし、これは反例によって証明できるように誤りです。同様に、正規分布する確率変数の線形結合自体が正規分布すると誤解されることがあります。しかし、これも反例によって誤りが証明されます。^{[ 1 ] [ 2 ]}

確率変数のペアが二変量正規分布に従うとは、定数（つまりランダムではない）係数と（両方ともゼロではない）に対する と のすべての線形結合が一変量正規分布に従うことを意味します。その場合、と が無相関であれば、それらは独立です。^{[ 3 ]}しかし、2つの確率変数と が共存し、それぞれが周辺正規分布に従う場合、それらは無相関ですが独立ではありません。以下に例を示します。 ${\displaystyle (X,Y)}$ ${\displaystyle aX+bY}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle a}$ ${\displaystyle b}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

例

対称的な例

との結合範囲。暗い色は密度関数の値が高いことを示します。${\displaystyle X}$ ${\displaystyle Y}$

が期待値0、分散1の正規分布に従うと仮定する。ラデマッハ分布に従うと仮定し、またはがそれぞれ確率1/2で発生するとする。また、が と独立であると仮定する。と は無相関であり、これは共分散を計算することで検証できる。さらに、どちらも同じ正規分布に従う。しかし、と は独立ではない。^{[ 4 ] [ 1 ] [ 5 ]}${\displaystyle X}$ ${\displaystyle W}$ ${\displaystyle W=1}$ ${\displaystyle W=-1}$ ${\displaystyle W}$ ${\displaystyle X}$ ${\displaystyle Y=WX}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

とが独立していないことを確認するには、またはを観察する必要があります。 ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle |Y|=|X|}$ ${\displaystyle \operatorname {Pr} (Y>1\mid -1/2<X<1/2)=\operatorname {Pr} (X>1\mid -1/2<X<1/2)=0}$

最後に、単純線形結合の分布は、正の確率を0に集中させる：。したがって、確率変数は正規分布せず、したがって、とも（上記の定義により）共に正規分布しない。^{[ 4 ]}${\displaystyle X+Y}$ ${\displaystyle \operatorname {Pr} (X+Y=0)=1/2}$ ${\displaystyle X+Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

非対称の例

との結合密度。色が濃いほど密度の値が高いことを示します。${\displaystyle X}$ ${\displaystyle Y}$

が期待値0、分散1の 正規分布に従うと仮定します。 は以下で指定する正の数とします。 が非常に小さい場合 、相関は に近く、が非常に大きい場合、は1に近くなります。 相関はの連続関数であるため、中間値定理より、の特定の値によって相関が0になることが示唆されます。その値はおよそ1.54です。^{[ 2 ] [注 1 ]} この場合、と は相関がありませんが、 が完全に を決定するため、明らかに独立ではありません。 ${\displaystyle X}$ $${\displaystyle Y=\left\{{\begin{matrix}X&{\text{if }}\left|X\right|\leq c\\-X&{\text{if }}\left|X\right|>c\end{matrix}}\right.}$$ ${\displaystyle c}$ ${\displaystyle c}$ ${\displaystyle \operatorname {corr} (X,Y)}$ ${\displaystyle -1}$ ${\displaystyle c}$ ${\displaystyle \operatorname {corr} (X,Y)}$ ${\displaystyle c}$ ${\displaystyle c}$ ${\displaystyle X}$ ${\displaystyle Y}$ ${\displaystyle X}$ ${\displaystyle Y}$

が正規分布している（つまり、その分布が の分布と同じである）ことを確認するには、その累積分布関数を計算する必要がある：^{[ 6 ]}${\displaystyle Y}$ ${\displaystyle X}$ $${\displaystyle {\begin{aligned}\Pr(Y\leq x)&=\Pr(\{|X|\leq c{\text{ かつ }}X\leq x\}{\text{ または }}\{|X|>c{\text{ かつ }}-X\leq x\})\\&=\Pr(|X|\leq c{\text{ かつ }}X\leq x)+\Pr(|X|>c{\text{ かつ }}-X\leq x)\\&=\Pr(|X|\leq c{\text{ かつ }}X\leq x)+\Pr(|X|>c{\text{ かつ }}X\leq x)\\&=\Pr(X\leq x),\end{aligned}}}$$

ここで、最後から2番目の等式は、 の分布の対称性と、 という条件の対称性から導かれます。 ${\displaystyle X}$ ${\displaystyle |X|\leq c}$

この例では、差が0になる確率がかなり高い（約0.88）ため、正規分布には全く近づいていません。対照的に、正規分布は連続分布であるため、離散的な部分は存在せず、つまり、どの点にも0を超える確率が集中することはありません。したがって、とはそれぞれ正規分布しますが、同時には正規分布しません。 ^{[ 2 ]}${\displaystyle XY}$ ${\displaystyle X}$ ${\displaystyle Y}$

平面上のほぼすべての場所でサポートされている例

平面上のランダムな点の座標が確率密度関数に従って選択されると仮定する。この場合、ランダム変数とには相関がなく、それぞれが正規分布（平均0、分散1）するが、独立ではない。^{[ 7 ]：93} ${\displaystyle (X,Y)}$ $${\displaystyle p(x,y)={\frac {1}{2\pi {\sqrt {3}}}}\left[\exp \left(-{\frac {2}{3}}(x^{2}+xy+y^{2})\right)+\exp \left(-{\frac {2}{3}}(x^{2}-xy+y^{2})\right)\right].}$$ ${\displaystyle X}$ ${\displaystyle Y}$

It is well-known that the ratio ${\displaystyle C}$ of two independent standard normal random deviates ${\displaystyle X_{i}}$ and ${\displaystyle Y_{i}}$ has a Cauchy distribution.^{[8][9][7]: 122} One can equally well start with the Cauchy random variable ${\displaystyle C}$ and derive the conditional distribution of ${\displaystyle Y_{i}}$ to satisfy the requirement that ${\displaystyle X_{i}=CY_{i}}$ with ${\displaystyle X_{i}}$ and ${\displaystyle Y_{i}}$ independent and standard normal. It follows that $${\displaystyle Y_{i}=W_{i}{\sqrt {\frac {\chi _{i}^{2}\left(k=2\right)}{1+C^{2}}}}}$$ in which ${\displaystyle W_{i}}$ is a Rademacher random variable and ${\displaystyle \chi _{i}^{2}\left(k=2\right)}$ is a Chi-squared random variable with two degrees of freedom.

Consider two sets of ${\displaystyle \left(X_{i},Y_{i}\right)}$ , ${\displaystyle i\in \left\{1,2\right\}}$ . Note that ${\displaystyle C}$ is not indexed by ${\displaystyle i}$ – that is, the same Cauchy random variable ${\displaystyle C}$ is used in the definition of both ${\displaystyle \left(X_{1},Y_{1}\right)}$ and ${\displaystyle \left(X_{2},Y_{2}\right)}$ . This sharing of ${\displaystyle C}$ results in dependences across indices: neither ${\displaystyle X_{1}}$ nor ${\displaystyle Y_{1}}$ is independent of ${\displaystyle Y_{2}}$ . Nevertheless all of the ${\displaystyle X_{i}}$ and ${\displaystyle Y_{i}}$ are uncorrelated as the bivariate distributions all have reflection symmetry across the axes.

Non-normal joint distributions with normal marginals.

The figure shows scatterplots of samples drawn from the above distribution. This furnishes two examples of bivariate distributions that are uncorrelated and have normal marginal distributions but are not independent. The left panel shows the joint distribution of ${\displaystyle X_{1}}$ and ${\displaystyle Y_{2}}$ ; the distribution has support everywhere but at the origin. The right panel shows the joint distribution of ${\displaystyle Y_{1}}$ and ${\displaystyle Y_{2}}$ ; the distribution has support everywhere except along the axes and has a discontinuity at the origin: the density diverges when the origin is approached along any straight path except along the axes.

See also

• Correlation and dependence

References

1. Rosenthal, Jeffrey S. (2005). "A Rant About Uncorrelated Normal Random Variables".
2. Melnick, Edward L.; Tenenbein, Aaron (November 1982). "Misspecifications of the Normal Distribution". The American Statistician. 36 (4): 372–373. doi:10.1080/00031305.1982.10483052.
3. Hogg, Robert; Tanis, Elliot (2001). "Chapter 5.4 The Bivariate Normal Distribution". Probability and Statistical Inference (6th ed.). Prentice Hall. pp. 258–259. ISBN 0130272949.
4. Ash, Robert B. 「Lecture 21. The Multivariate Normal Distribution」（PDF） . Lectures on Statistics . 2007年7月14日時点のオリジナル（PDF）からアーカイブ。
5. ロマーノ, ジョセフ・P.; シーゲル, アンドリュー・F. (1986).確率と統計における反例. ワズワース＆ブルックス/コール. pp.  65– 66. ISBN 0-534-05568-0。
6. ワイズ, ゲイリー・L.; ホール, エリック・B. (1993).確率と実解析における反例. オックスフォード大学出版局. pp.  140– 141. ISBN 0-19-507068-2。
7. ストヤノフ、ジョーダン・M. (2013).確率論における反例（第3版）. ドーバー. ISBN 978-0-486-49998-7。
8. パテル、ジャグディッシュ・K.; リード、キャンベル・B. (1996).正規分布ハンドブック（第2版）. テイラー・アンド・フランシス. p. 113. ISBN 978-0-824-79342-5。
9. クリシュナムーシー、K. (2006).統計分布ハンドブックとその応用. CRC Press. p. 278. ISBN 978-1-420-01137-1。

注記

1. より正確には 1.53817...、自由度 3 のカイ 2 乗分布の中央値の平方根。