モーメント法（統計）

統計学において、モーメント法は母数パラメータの推定法の一つです。同じ原理が、歪度や尖度といった高次モーメントの導出にも用いられます。

まず、母集団モーメント（すなわち、対象とする確率変数のべき乗の期待値）を、関心のあるパラメータの関数として表します。これらの式は、標本モーメントと同じ数に設定されます。このような方程式の数は、推定対象となるパラメータの数と同じです。これらの方程式を、関心のあるパラメータについて解きます。解は、それらのパラメータの推定値です。

モーメント法は、 1887年にパフヌティ・チェビシェフによって中心極限定理の証明において導入されました。分布の経験モーメントを母集団モーメントに一致させるというアイデアは、少なくともカール・ピアソンにまで遡ります。^[1]

方法

パラメータ= ( )が確率変数 の分布を特徴付けると仮定する。^{[ 1 ]}真の分布の最初のモーメント（「母集団モーメント」）が s の関数として表現できると 仮定する。 ${\displaystyle \theta}$ ${\displaystyle \theta_{1},\theta_{2},\dots,\theta_{k}}$ ${\displaystyle f_{W}(w;\theta )}$ ${\displaystyle W}$ ${\displaystyle k}$ ${\displaystyle \theta}$

$${\displaystyle {\begin{aligned}\mu _{1}&\equiv \operatorname {E} [W]=g_{1}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\[4pt]\mu _{2}&\equiv \operatorname {E} [W^{2}]=g_{2}(\theta _{1},\theta _{2},\ldots ,\theta _{k}),\\&\,\,\,\vdots \\\mu _{k}&\equiv \operatorname {E} [W^{k}]=g_{k}(\theta _{1},\theta _{2},\ldots ,\theta _{k}).\end{aligned}}}$$

サイズのサンプルが抽出され、値が であるとする。 について、 を j番目のサンプルモーメント、つまり の推定値と する。 で表されるのモーメント法推定値は、（もし存在するならば）以下の方程式の解として定義される。^[2]${\displaystyle n}$ ${\displaystyle w_{1},\dots ,w_{n}}$ ${\displaystyle j=1,\dots ,k}$ $${\displaystyle {\hat {\mu }}_{j}={\frac {1}{n}}\sum _{i=1}^{n}w_{i}^{j}}$$ ${\displaystyle \mu_{j}}$ ${\displaystyle \theta_{1},\theta_{2},\ldots,\theta_{k}}$ ${\displaystyle {\hat {\theta }}_{1},{\hat {\theta }}_{2},\dots ,{\hat {\theta }}_{k}}$

$${\displaystyle {\begin{aligned}{\hat {\mu }}_{1}&=g_{1}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\ldots ,{\hat {\theta }}_{k}),\\[4pt]{\hat {\mu }}_{2}&=g_{2}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\ldots ,{\hat {\theta }}_{k}),\\&\,\,\,\vdots \\{\hat {\mu }}_{k}&=g_{k}({\hat {\theta }}_{1},{\hat {\theta }}_{2},\ldots ,{\hat {\theta }}_{k}).\end{aligned}}}$$

ここで単一の確率変数について述べた方法は、複数の確率変数にも容易に一般化でき、モーメントの選択肢が複数存在することになります。異なる選択肢は通常、異なる解をもたらします。^{[ 2 ] [ 3 ]}

メリットとデメリット

モーメント法は非常に単純で、一貫性のある推定値（非常に弱い仮定の下で）を生成しますが、これらの推定値は偏っていることが多いです。

これは最大尤度法の代替法です。モーメント法による推定値は必ずしも十分な統計量とは限らず、サンプル内の関連情報をすべて考慮に入れていない場合があります。

他の構造パラメータ（既知の確率分布のパラメータではなく、効用関数のパラメータなど）を推定する場合、適切な確率分布がわからない可能性があり、最大尤度推定よりもモーメントベースの推定が好まれる場合があります。

モーメントの代替法

モーメント法 (MoM) で解く方程式は一般に非線形であり、扱いやすい解が存在するという一般的に適用可能な保証はありません。しかし、モデル モーメントのこれらのパラメーターへの既知の依存性に基づいてサンプル モーメントを使用してデータ モデル パラメーターを推定する別のアプローチがあり、この代替方法では線形方程式、より一般的にはテンソル方程式の解のみが必要です。この代替方法は、ベイズ類似 MoM (BL-MoM) と呼ばれ、最適に重み付けされたサンプル モーメントを使用する点で従来の MoM と異なります。MoM が通常、尤度関数と、関連する未知またはランダム パラメーターの事後確率を決定するためのデータ モデルに関する十分な知識の欠如によって動機付けられることを考慮すると、ベイズ類似のタイプの MoM が存在することは奇妙です。しかし、ベイジアンライクの特別な意味は、事後確率の必要な知識が、モデルモーメントの未知のモデルパラメータへの依存性のみの必要な知識に置き換えられる問題の定式化につながり、これはまさに従来のMoM [1],[2]で必要な知識です。^{[ 3 ] [ 2 ] [ 4 ] [ 5 ] [ 6 ]} BL-MoMは、推定するパラメータの 事前確率の知識も、利用可能な場合は使用しますが、そうでない場合は均一な事前分布を使用します。

BL-MoM は、情報通信理論の問題、特に尤度関数や関連する事後確率の知識がない場合の通信受信機設計に関する、確率過程の観測を使用したパラメータ推定や仮説検定との関連で、応用統計学の文献でのみ報告されている [ 7 ] およびその中の参照文献。さらに、あらゆるタイプの多変量データに対する古典的な MoM の代替として、確率過程モデルに対する^{この受信機}設計アプローチの言い換えが、大学のウェブサイトでチュートリアルの形式で入手できる。[ 8 ^{] [ 7 ]および参照}文献での応用は、古典的な MoM の代替としてのこのアプローチの重要な特性をいくつか示しており、相対的な利点と欠点の詳細なリストが^{[ 8 ]}に示されているが、文献には古典的な MoM と BL-MoM の特定のアプリケーションでの直接的な比較が欠けている。

例

モーメント法の応用例としては、多項式確率密度分布の推定が挙げられる。この場合、 次数の近似多項式が区間 上で定義される。モーメント法は連立方程式を与え、その解はハンケル行列の逆行列を求めることで得られる。^{[ 9 ]}${\displaystyle N}$ ${\displaystyle [a,b]}$

中心極限定理の証明

を平均0、分散1の独立確率変数とし、 とします。のモーメントは と計算できます。 明示的な展開 により 、 が成り立ちます。ここで分子は、から までの番号が付けられたボールが入ったバケツからそれぞれ1つずつボールを取り出すことで、異なるボールのペア を選択する方法の数です。極限において、すべてのモーメントは標準正規分布のモーメントに収束します。さらに解析を進めると、このモーメントの収束は分布の収束を意味することがわかります。 ${\displaystyle X_{1},X_{2},\cdots }$ ${\textstyle S_{n}:={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}X_{i}}$ ${\displaystyle S_{n}}$ $${\displaystyle {\begin{aligned}\operatorname {E} \left[S_{n}^{0}\right]&=1,&\operatorname {E} \left[S_{n}^{1}\right]&=0,\\[0.5ex]\operatorname {E} \left[S_{n}^{2}\right]&=1,&\operatorname {E} \left[S_{n}^{3}\right]&=0,\dots \end{aligned}}}$$ $${\displaystyle {\begin{aligned}\operatorname {E} \left[S_{n}^{2k+1}\right]&=0;\\[1ex]\operatorname {E} \left[S_{n}^{2k}\right]&={\frac {{\binom {n}{k}}{\frac {(2k)!}{2^{k}}}}{n^{k}}}\\[0.6ex]&={\frac {n(n-1)\cdots (n-k+1)}{n^{k}}}(2k-1)!!\end{aligned}}}$$ ${\displaystyle k}$ ${\displaystyle 2k}$ ${\displaystyle 1}$ ${\displaystyle n}$ ${\displaystyle n\to \infty }$

本質的にこの議論は1887年にチェビシェフによって発表された。^{[ 10 ]}

均一分布

区間 上の一様分布を考える。すると、 ${\displaystyle [a,b]}$ ${\displaystyle U(a,b)}$ ${\displaystyle W\sim U(a,b)}$

$${\displaystyle {\begin{aligned}\mu _{1}&=\operatorname {E} \left[W\right]&=&{\tfrac {1}{2}}(a+b)\\[1ex]\mu _{2}&=\operatorname {E} \left[W^{2}\right]&=&{\tfrac {1}{3}}\left(a^{2}+ab+b^{2}\right)\end{aligned}}}$$

これらの方程式を解くと

$${\displaystyle {\begin{aligned}{\hat {a}}&=\mu _{1}-{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}\\{\hat {b}}&=\mu _{1}+{\sqrt {3\left(\mu _{2}-\mu _{1}^{2}\right)}}\end{aligned}}}$$

サンプルのセットが与えられれば、これらの式のサンプルモーメントとを使用して、およびを推定できます。 ${\displaystyle \{w_{i}\}}$ ${\displaystyle {\hat {\mu }}_{1}}$ ${\displaystyle {\hat {\mu }}_{2}}$ ${\displaystyle a}$ ${\displaystyle b}$

ただし、この方法は場合によっては矛盾した結果をもたらす可能性があることに注意してください。例えば、標本集合は 、 という推定値になります。これは、この場合、 標本集合が から抽出されたとは考えられないためです。${\displaystyle \{0,0,0,0,1\}}$ ${\textstyle {\hat {a}}={\frac {1}{5}}\left(1-2{\sqrt {3}}\right)=-0.4928}$ ${\textstyle {\hat {b}}={\frac {1}{5}}\left(1+2{\sqrt {3}}\right)=0.8928}$ ${\displaystyle {\hat {b}}<1}$ ${\displaystyle \{0,0,0,0,1\}}$ ${\displaystyle U({\hat {a}},{\hat {b}})}$

参照

• 一般化モーメント法
• デコード方法

参考文献

1. キミコ・O・ボウマンとLRシェントン、「推定量：モーメント法」、pp 2092–2098、統計科学百科事典、ワイリー（1998年）。
2. Quandt, RE & Ramsey, JB (1978). 「正規分布の混合の推定とスイッチング回帰」アメリカ統計学会誌73 , 730–752.
3. Lindsay, BG & Basak P. (1993). 「多変量正規混合：高速かつ一貫性のあるモーメント法」アメリカ統計学会誌88 , 468–476.
4. https://real-statistics.com/distribution-fitting/method-of-moments/
5. Hansen, L. (1982). 「一般化モーメント法推定量の大規模標本特性」 Econometrica 50 , 1029–1054.
6. Lindsay, BG (1982). 「条件付きスコア関数：いくつかの最適性の結果」, Biometrika 69 , 503–512.
7. ガードナー、WA、「最も近いプロトタイプ信号分類器の設計」、IEEE Transactions on Information Theory 27 (3)、368–372、1981
8. サイクロスタショナリティ、11.4ページ
9. J. Munkhammar, L. Mattsson, J. Rydén (2017)「モーメント法を用いた多項式確率分布推定」PLoS ONE 12(4): e0174573. https://doi.org/10.1371/journal.pone.0174573
10. フィッシャー、ハンス (2011). 「4. チェビシェフとマルコフの貢献」.中心極限定理の歴史：古典確率論から現代確率論へ. ニューヨーク: シュプリンガー. ISBN 978-0-387-87857-7. OCLC  682910965 .