正規ガンマ分布

正規ガンマ分布
パラメータ	${\displaystyle \mu \,}$ 位置(実数) (実数) (実数) (実数)${\displaystyle \lambda >0\,}$ ${\displaystyle \alpha >0\,}$ ${\displaystyle \beta >0\,}$
サポート	${\displaystyle x\in (-\infty ,\infty )\,\!,\;\tau \in (0,\infty )}$
PDF	${\displaystyle f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,e^{-\beta \tau }\,e^{-{\frac {\lambda \tau (x-\mu )^{2}}{2}}}}$
意味	[ 1 ]${\displaystyle \operatorname {E} (X)=\mu \,\!,\quad \operatorname {E} (\mathrm {T} )=\alpha \beta ^{-1}}$
最頻値	${\displaystyle \left(\mu ,{\frac {\alpha -{\frac {1}{2}}}{\beta }}\right)}$
分散	[ 1 ]${\displaystyle \operatorname {var} (X)={\Big (}{\frac {\beta }{\lambda (\alpha -1)}}{\Big )},\quad \operatorname {var} (\mathrm {T} )=\alpha \beta ^{-2}}$

確率論と統計学において、正規ガンマ分布（またはガウスガンマ分布）は、2変量4パラメータの連続確率分布族です。これは、平均と精度が未知の正規分布の共役事前分布です。^{[ 2 ]}

定義

確率変数のペア( X , T ) について、 Tを与えられたときのXの条件付き分布が次のように与えられる と仮定する

${\displaystyle X\mid T\sim N(\mu ,1/(\lambda T))\,\!,}$

つまり、条件付き分布は平均と精度を持つ正規分布であり、分散も${\displaystyle \mu }$ ${\displaystyle \lambda T}$ ${\displaystyle 1/(\lambda T).}$

Tの周辺分布が次のように与えられる と仮定する。

${\displaystyle T\mid \alpha ,\beta \sim \operatorname {Gamma} (\alpha ,\beta ),}$

ここで、 Tはガンマ分布に従うことを意味します。ここでλ、α、βは結合分布のパラメータです。

このとき、（X , T）は正規ガンマ分布に従う。これは次のように表される。

${\displaystyle (X,T)\sim \operatorname {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ).}$

性質

確率密度関数

( X , T )の結合確率密度関数は

$${\displaystyle f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )={\frac {\beta ^{\alpha }{\sqrt {\lambda }}}{\Gamma (\alpha ){\sqrt {2\pi }}}}\,\tau ^{\alpha -{\frac {1}{2}}}\,e^{-\beta \tau }\exp \left(-{\frac {\lambda \tau (x-\mu )^{2}}{2}}\right),}$$

ここで、の条件付き確率 が使用されました。 $${\displaystyle f(x,\tau \mid \mu ,\lambda ,\alpha ,\beta )=f(x\mid \tau ,\mu ,\lambda ,\alpha ,\beta )f(\tau \mid \mu ,\lambda ,\alpha ,\beta )}$$

周辺分布

構造上、の周辺分布はガンマ分布であり、の条件付き分布はガウス分布です。の周辺分布は、パラメータ を持つ3パラメータの非標準化スチューデントt分布です${\displaystyle \tau }$ ${\displaystyle x}$ ${\displaystyle \tau }$ ${\displaystyle x}$ ${\displaystyle (\nu ,\mu ,\sigma ^{2})=(2\alpha ,\mu ,\beta /(\lambda \alpha ))}$

指数族

正規ガンマ分布は、自然なパラメータと自然な統計量を持つ4つのパラメータを 持つ指数分布族です${\displaystyle \alpha -1/2,-\beta -\lambda \mu ^{2}/2,\lambda \mu ,-\lambda /2}$ ${\displaystyle \ln \tau ,\tau ,\tau x,\tau x^{2}}$

自然統計の瞬間

以下のモーメントは十分統計量のモーメント生成関数を使って簡単に計算できる：^{[ 3 ]}

${\displaystyle \operatorname {E} (\ln T)=\psi \left(\alpha \right)-\ln \beta ,}$

ここで、ディガンマ関数は、 ${\displaystyle \psi \left(\alpha \right)}$

${\displaystyle {\begin{aligned}\operatorname {E} (T)&={\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX)&=\mu {\frac {\alpha }{\beta }},\\[5pt]\operatorname {E} (TX^{2})&={\frac {1}{\lambda }}+\mu ^{2}{\frac {\alpha }{\beta }}.\end{aligned}}}$

スケーリング

任意のに対して、が次のように分布する場合${\displaystyle (X,T)\sim \mathrm {NormalGamma} (\mu ,\lambda ,\alpha ,\beta ),}$ ${\displaystyle b>0,(bX,bT)}$ ${\displaystyle {\rm {NormalGamma}}(b\mu ,\lambda /b^{3},\alpha ,\beta /b).}$

パラメータの事後分布

x が、平均と精度が不明な正規分布に従って分布していると仮定します。 ${\displaystyle \mu }$ ${\displaystyle \tau }$

${\displaystyle x\sim {\mathcal {N}}(\mu ,\tau ^{-1})}$

および、 の事前分布は正規ガンマ分布に従う ${\displaystyle \mu }$ ${\displaystyle \tau }$ ${\displaystyle (\mu ,\tau )}$

${\displaystyle (\mu ,\tau )\sim {\text{NormalGamma}}(\mu _{0},\lambda _{0},\alpha _{0},\beta _{0}),}$

密度πは

${\displaystyle \pi (\mu ,\tau )\propto \tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[-\beta _{0}\tau ]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right].}$

仮定

${\displaystyle x_{1},\ldots ,x_{n}\mid \mu ,\tau \sim \operatorname {{i.}{i.}{d.}} \operatorname {N} \left(\mu ,\tau ^{-1}\right),}$

つまり、の成分は与えられた条件付き独立であり、それぞれの条件付き分布は期待値と分散を持つ正規分布であると仮定します。このデータセットが与えられた場合、およびの事後分布はベイズの定理^{[ 4 ]}によって明示的に 解析的に決定できます${\displaystyle \mathbf {X} =(x_{1},\ldots ,x_{n})}$ ${\displaystyle \mu ,\tau }$ ${\displaystyle \mu ,\tau }$ ${\displaystyle \mu }$ ${\displaystyle 1/\tau .}$ ${\displaystyle \mu }$ ${\displaystyle \tau }$ ${\displaystyle \mathbb {X} }$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu ),}$

ここで、データは与えられたパラメータの尤度です。 ${\displaystyle \mathbf {L} }$

データは iid なので、データセット全体の尤度は個々のデータ サンプルの尤度の積に等しくなります。

${\displaystyle \mathbf {L} (\mathbf {X} \mid \tau ,\mu )=\prod _{i=1}^{n}\mathbf {L} (x_{i}\mid \tau ,\mu ).}$

この式は次のように簡略化できます。

${\displaystyle {\begin{aligned}\mathbf {L} (\mathbf {X} \mid \tau ,\mu )&\propto \prod _{i=1}^{n}\tau ^{1/2}\exp \left[{\frac {-\tau }{2}}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}(x_{i}-{\bar {x}}+{\bar {x}}-\mu )^{2}\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}+({\bar {x}}-\mu )^{2}\right)\right]\\[5pt]&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right],\end{aligned}}}$

ここで、 はデータサンプルの平均、 はサンプル分散です。 ${\displaystyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ ${\displaystyle s={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}$

パラメータの事後分布は、事前分布と尤度を乗じた値に比例します。

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \mathbf {L} (\mathbf {X} \mid \tau ,\mu )\pi (\tau ,\mu )\\&\propto \tau ^{n/2}\exp \left[{\frac {-\tau }{2}}\left(ns+n({\bar {x}}-\mu )^{2}\right)\right]\tau ^{\alpha _{0}-{\frac {1}{2}}}\,\exp[{-\beta _{0}\tau }]\,\exp \left[-{\frac {\lambda _{0}\tau (\mu -\mu _{0})^{2}}{2}}\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}\right)\right]\end{aligned}}}$

最後の指数項は平方完成によって簡略化されます。

${\displaystyle {\begin{aligned}\lambda _{0}(\mu -\mu _{0})^{2}+n({\bar {x}}-\mu )^{2}&=\lambda _{0}\mu ^{2}-2\lambda _{0}\mu \mu _{0}+\lambda _{0}\mu _{0}^{2}+n\mu ^{2}-2n{\bar {x}}\mu +n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\mu ^{2}-2(\lambda _{0}\mu _{0}+n{\bar {x}})\mu +\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)(\mu ^{2}-2{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\mu )+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+\lambda _{0}\mu _{0}^{2}+n{\bar {x}}^{2}-{\frac {\left(\lambda _{0}\mu _{0}+n{\bar {x}}\right)^{2}}{\lambda _{0}+n}}\\&=(\lambda _{0}+n)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\end{aligned}}}$

これを上の式に代入すると、

${\displaystyle {\begin{aligned}\mathbf {P} (\tau ,\mu \mid \mathbf {X} )&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right]\\&\propto \tau ^{{\frac {n}{2}}+\alpha _{0}-{\frac {1}{2}}}\exp \left[-\tau \left({\frac {1}{2}}ns+\beta _{0}+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{2(\lambda _{0}+n)}}\right)\right]\exp \left[-{\frac {\tau }{2}}\left(\lambda _{0}+n\right)\left(\mu -{\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}}\right)^{2}\right]\end{aligned}}}$

この最終的な表現は、正規ガンマ分布と全く同じ形、すなわち、

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {\lambda _{0}\mu _{0}+n{\bar {x}}}{\lambda _{0}+n}},\lambda _{0}+n,\alpha _{0}+{\frac {n}{2}},\beta _{0}+{\frac {1}{2}}\left(ns+{\frac {\lambda _{0}n({\bar {x}}-\mu _{0})^{2}}{\lambda _{0}+n}}\right)\right)}$

パラメータの解釈

疑似観測によるパラメータの解釈は次のとおりです

• 新しい平均は、古い疑似平均と観測平均の加重平均で、関連する（疑似）観測の数で重み付けされます。
• 精度は、サンプル平均とサンプル分散（つまり、偏差の二乗和）を使用して疑似観測（つまり、平均値と精度の分散を個別に制御できるようにするために、疑似観測の数が異なる場合があります）から推定されました。${\displaystyle 2\alpha }$ ${\displaystyle \mu }$ ${\displaystyle {\frac {\beta }{\alpha }}}$ ${\displaystyle 2\beta }$
• 事後分布は、対応する数の新しい観測値（ ）を追加するだけで、疑似観測値（）の数を更新します。${\displaystyle \lambda _{0}}$ ${\displaystyle n}$
• 新しい偏差二乗和は、それぞれの以前の偏差二乗和を加算することで計算されます。ただし、2つの偏差二乗和は異なる平均値に基づいて計算されているため、3つ目の「交互作用項」が必要になります。そのため、2つの偏差二乗和の合計は、実際の偏差二乗和を過小評価することになります。

結果として、サンプルからの事前平均が で、サンプルからの事前精度が の場合、との事前分布は ${\displaystyle \mu _{0}}$ ${\displaystyle n_{\mu }}$ ${\displaystyle \tau _{0}}$ ${\displaystyle n_{\tau }}$ ${\displaystyle \mu }$ ${\displaystyle \tau }$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )=\operatorname {NormalGamma} \left(\mu _{0},n_{\mu },{\frac {n_{\tau }}{2}},{\frac {n_{\tau }}{2\tau _{0}}}\right)}$

そして、平均と分散を持つサンプルを観測した後、事後確率は ${\displaystyle n}$ ${\displaystyle \mu }$ ${\displaystyle s}$

${\displaystyle \mathbf {P} (\tau ,\mu \mid \mathbf {X} )={\text{NormalGamma}}\left({\frac {n_{\mu }\mu _{0}+n\mu }{n_{\mu }+n}},n_{\mu }+n,{\frac {1}{2}}(n_{\tau }+n),{\frac {1}{2}}\left({\frac {n_{\tau }}{\tau _{0}}}+ns+{\frac {n_{\mu }n(\mu -\mu _{0})^{2}}{n_{\mu }+n}}\right)\right)}$

Matlabなどの一部のプログラミング言語では、ガンマ分布は の逆定義を使用して実装されるため、正規ガンマ分布の 4 番目の引数は になることに注意してください。 ${\displaystyle \beta }$ ${\displaystyle 2\tau _{0}/n_{\tau }}$

正規ガンマランダム変数の生成

ランダム変数の生成は簡単です。

1. パラメータとガンマ分布からのサンプル${\displaystyle \tau }$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$
2. 平均と分散を持つ正規分布からのサンプル${\displaystyle x}$ ${\displaystyle \mu }$ ${\displaystyle 1/(\lambda \tau )}$

関連分布

• 正規逆ガンマ分布は、精度ではなく分散によってパラメータ化された同じ分布です
• 正規指数ガンマ分布

注釈

1. ベルナルド＆スミス（1993、434ページ）
2. ベルナルド＆スミス（1993年、136、268、434ページ）
3. Wasserman, Larry (2004)、「Parametric Inference」、Springer Texts in Statistics、ニューヨーク、NY：Springer New York、pp.  119– 148、ISBN 978-1-4419-2322-62023年12月8日閲覧
4. 「ベイズの定理：入門」。2014年8月7日時点のオリジナルよりアーカイブ。2014年8月5日閲覧

参考文献

• ベルナルド、JM; スミス、AFM (1993)ベイズ理論、Wiley. ISBN 0-471-49464-X
• ディアデン他「ベイジアンQ学習」、第15回人工知能会議（AAAI-98）議事録、1998年7月26～30日、米国ウィスコンシン州マディソン