十分な統計

統計学において、十分性とは、標本データセットを用いて計算される統計量が、そのデータセットのパラメトリックモデルと関連して持つ特性です。十分統計量には、データセットが提供するモデルパラメータに関するすべての情報が含まれています。これは、モデルパラメータに関する情報を含まない補助統計量、およびパラメータに関する情報のみを含み補助情報を含まない 完全統計量の概念と密接に関連しています。

関連する概念として線形十分性がある。これは十分性よりも弱い概念だが、十分な統計量がない場合にも適用できる。ただし、線形推定量に限定される。^[1]コルモゴロフ構造関数は個々の有限データを扱い、それに関連する概念はアルゴリズム的十分統計量である。

この概念は1920年にロナルド・フィッシャー卿によって提唱されました^。[2] スティーブン・スティグラーは1973年に、十分性の概念は分布形式の仮定に強く依存しているため記述統計では好まれなくなっていると指摘しました（下記のピットマン・クープマン・ダルモワの定理を参照）。しかし、理論的研究においては依然として非常に重要な概念です。^[3]

背景

大まかに言えば、未知のパラメータ を条件とする、独立かつ同一に分布するデータの集合が与えられた場合、十分な統計量とは、その値がパラメータの推定値（例えば、最尤推定値）を計算するために必要なすべての情報を含む関数です。因数分解定理（下記参照）により、十分な統計量 の場合、確率密度は と表すことができます。この因数分解から、 の最大尤度推定値はを通じてのみ と相互作用することが容易にわかります。通常、十分な統計量はデータの単純な関数、例えばすべてのデータポイントの合計です。 ${\displaystyle \mathbf {X} }$ ${\displaystyle \theta }$ ${\displaystyle T(\mathbf {X} )}$ ${\displaystyle T(\mathbf {X} )}$ ${\displaystyle f_{\mathbf {X} }(x;\theta )=h(x)\,g(\theta ,T(x))}$ ${\displaystyle \theta }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle T(\mathbf {X} )}$

より一般的には、「未知のパラメータ」は未知の量のベクトルを表す場合もあれば、モデルに関する未知または完全には指定されていないすべてのものを表す場合もあります。このような場合、十分な統計量は、共同十分統計量と呼ばれる関数の集合である場合があります。通常、関数の数はパラメータの数と同じです。例えば、平均と分散が未知のガウス分布の場合、両方のパラメータの最大尤度推定値を推定できる共同十分統計量は、すべてのデータポイントの合計とすべてのデータポイントの2乗の合計（または、標本平均と標本分散）という2つの関数で構成されます。

言い換えれば、データの結合確率分布は、パラメータの十分統計量の値が与えられた場合、パラメータから条件付きで独立である。統計量と基礎パラメータはどちらもベクトルである可能性がある。

数学的な定義

統計量t  =  T ( X )が基礎パラメータθに対して十分であるとは、統計量t  =  T ( X )が与えられたデータXの条件付き確率分布がパラメータθに依存しない場合に限る。^[4]

あるいは、 θ上のすべての事前分布に対して、θとT(X)間の相互情報量がθとX間の相互情報量に等しい場合、統計量T ( X ) はθに対して十分であると言うこと もできます。^[5]言い換えれば、データ処理不等式は等式になります。

${\displaystyle I{\bigl (}\theta ;T(X){\bigr )}=I(\theta ;X)}$

例

例えば、分散が既知の正規分布の平均μ （未知）を求めるには、標本平均値だけで十分です。標本平均値が分かれば、標本自体からはμに関する更なる情報を得ることはできません。一方、任意の分布の場合、中央値は平均値を求めるのに十分ではありません。標本の中央値が分かっていても、標本自体を知ることで母平均に関する更なる情報が得られます。例えば、中央値を下回る観測値はわずかに小さいだけであるのに対し、中央値を大きく上回る観測値は母平均に関する推論に影響を与える可能性があります。

フィッシャー・ネイマン因数分解定理

フィッシャーの因数分解定理あるいは因数分解基準は、十分統計量の便利な特徴付けを提供する。確率密度関数が ƒ _θ ( x ) である場合、 T がθ に対して十分であることは、非負関数gとhが次式を満たす場合に限ります。

${\displaystyle f(x;\theta )=h(x)\,g(\theta ,T(x)),}$

すなわち、密度 ƒ は、一方の因子hがθに依存せず、もう一方の因子（θに依存する）がT ( x )を通じてのみxに依存するような積に因数分解できる。この一般的な証明はHalmosとSavage ^[6]によって与えられており、この定理はHalmos–Savage因数分解定理と呼ばれることもある。^[7]以下の証明は特殊なケースを扱っているが、同様の方法で別の一般的な証明を行うこともできる。^[8]多くの単純なケースでは、確率密度関数は、および、およびによって完全に指定される（例を参照）。 ${\displaystyle \theta }$ ${\displaystyle T(x)}$ ${\displaystyle h(x)=1}$

F ( t ) が1対1関数であり、 T が十分統計量である場合、F ( T ) が十分統計量であることは容易に理解できます。特に、十分統計量に非ゼロの定数を乗じることで、別の十分統計量を得ることができます。

尤度原理の解釈

この定理の含意は、尤度に基づく推論を用いる場合、十分統計量T ( X ) の値が同一となる2つのデータセットは、常にθに関する推論結果が同じになるという点である。因数分解基準によれば、尤度のθへの依存性はT ( X )のみに依存する。どちらの場合もこれが同じであるため、 θへの依存性も同じとなり、同一の推論結果が導かれる。

証拠

HoggとCraigによる。^[9]は、 ι  <  θ  <  δに対して確率密度関数f ( x ,  θ )を持つ分布からのランダムサンプルを表す。Y ₁  =  u 1 ( X ₁ ,  X ₂ , ...,  X _{n )を、確率密度関数}g ₁ ( y ₁ ;  θ )である統計量とする。証明したいのは、Y ₁  =  u ₁ ( X ₁ , X ₂ , ...,  X _n )がθに対する十分統計量であるための必要十分条件であり、かつ、ある関数Hに対して、 ${\displaystyle X_{1},X_{2},\ldots ,X_{n}}$

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

まず、

${\displaystyle \prod _{i=1}^{n}f(x_{i};\theta )=g_{1}\left[u_{1}(x_{1},x_{2},\dots ,x_{n});\theta \right]H(x_{1},x_{2},\dots ,x_{n}).}$

i  = 1, ...,  nに対してy _i  =  u _i ( x ₁ ,  x ₂ , ...,  x _n )という変換を行い、その逆関数x _i  =  w _i ( y ₁ ,  y ₂ ,  ...  ,  y _n )とヤコビ行列を求める。したがって、 ${\displaystyle J=\left[w_{i}/y_{j}\right]}$

${\displaystyle \prod _{i=1}^{n}f\left[w_{i}(y_{1},y_{2},\dots ,y_{n});\theta \right]=|J|g_{1}(y_{1};\theta )H\left[w_{1}(y_{1},y_{2},\dots ,y_{n}),\dots ,w_{n}(y_{1},y_{2},\dots ,y_{n})\right].}$

左側の要素は、Y ₁ = u ₁ ( X 1 , ..., X _{n )} 、... 、Y _n = u n ( X ₁ , ..., X _n ) の結合確率_密度関数g ( y ₁ , y ₂ , ..., y _{n ;} θ ) です。右側の要素は の確率密度関数なので、は と の商です。つまり、が与えられたの条件付き確率密度関数です。 ${\displaystyle g_{1}(y_{1};\theta )}$ ${\displaystyle Y_{1}}$ ${\displaystyle H[w_{1},\dots ,w_{n}]|J|}$ ${\displaystyle g(y_{1},\dots ,y_{n};\theta )}$ ${\displaystyle g_{1}(y_{1};\theta )}$ ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$ ${\displaystyle Y_{2},\dots ,Y_{n}}$ ${\displaystyle Y_{1}=y_{1}}$

しかし、 であり、したがって は に依存しないことが示されています。は変換に導入されておらず、したがってヤコビ行列 にも導入されていないため、は に依存しないことが示され、は の十分な統計量となります。 ${\displaystyle H(x_{1},x_{2},\dots ,x_{n})}$ ${\displaystyle H\left[w_{1}(y_{1},\dots ,y_{n}),\dots ,w_{n}(y_{1},\dots ,y_{n}))\right]}$ ${\displaystyle \theta }$ ${\displaystyle \theta }$ ${\displaystyle J}$ ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1};\theta )}$ ${\displaystyle \theta }$ ${\displaystyle Y_{1}}$ ${\displaystyle \theta }$

逆は次のように証明されます。

${\displaystyle g(y_{1},\dots ,y_{n};\theta )=g_{1}(y_{1};\theta )h(y_{2},\dots ,y_{n}\mid y_{1}),}$

ここで はに依存しません。なぜならは のみに依存し、 はによって条件付けられる場合から独立しているからです。これは仮説により十分統計量となります。ここで、両方の要素を非零ヤコビアン の絶対値で割り、の関数 を に置き換えます。これは次式を得ます。 ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$ ${\displaystyle \theta }$ ${\displaystyle Y_{2}...Y_{n}}$ ${\displaystyle X_{1}...X_{n}}$ ${\displaystyle \Theta }$ ${\displaystyle Y_{1}}$ ${\displaystyle J}$ ${\displaystyle y_{1},\dots ,y_{n}}$ ${\displaystyle u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n})}$ ${\displaystyle x_{1},\dots ,x_{n}}$

${\displaystyle {\frac {g\left[u_{1}(x_{1},\dots ,x_{n}),\dots ,u_{n}(x_{1},\dots ,x_{n});\theta \right]}{|J^{*}|}}=g_{1}\left[u_{1}(x_{1},\dots ,x_{n});\theta \right]{\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

ここで、は の項における値に置き換えられたヤコビアンである。左辺は必然的にの結合確率密度関数となる。、そして はに依存しないので、 ${\displaystyle J^{*}}$ ${\displaystyle y_{1},\dots ,y_{n}}$ ${\displaystyle x_{1},\dots ,x_{n}}$ ${\displaystyle f(x_{1};\theta )\cdots f(x_{n};\theta )}$ ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle h(y_{2},\dots ,y_{n}\mid y_{1})}$ ${\displaystyle h(u_{2},\dots ,u_{n}\mid u_{1})}$ ${\displaystyle \theta }$

${\displaystyle H(x_{1},\dots ,x_{n})={\frac {h(u_{2},\dots ,u_{n}\mid u_{1})}{|J^{*}|}}}$

は に依存しない関数です。 ${\displaystyle \theta }$

もう一つの証拠

より単純でわかりやすい証明は次のとおりです。ただし、これは離散的な場合にのみ適用されます。

の結合確率密度を で表すために、略記法を用いる。 は の決定論的関数であるため、である限り が成り立ち、 でなければ0 となる。したがって、 ${\displaystyle (X,T(X))}$ ${\displaystyle f_{\theta }(x,t)}$ ${\displaystyle T}$ ${\displaystyle X}$ ${\displaystyle f_{\theta }(x,t)=f_{\theta }(x)}$ ${\displaystyle t=T(x)}$

${\displaystyle {\begin{aligned}f_{\theta }(x)&=f_{\theta }(x,t)\\[5pt]&=f_{\theta }(x\mid t)f_{\theta }(t)\\[5pt]&=f(x\mid t)f_{\theta }(t)\end{aligned}}}$

最後の等式は十分統計量の定義により真となる。したがって、およびとなる。 ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$ ${\displaystyle a(x)=f_{X\mid t}(x)}$ ${\displaystyle b_{\theta }(t)=f_{\theta }(t)}$

逆に、の場合には、 ${\displaystyle f_{\theta }(x)=a(x)b_{\theta }(t)}$

${\displaystyle {\begin{aligned}f_{\theta }(t)&=\sum _{x:T(x)=t}f_{\theta }(x,t)\\[5pt]&=\sum _{x:T(x)=t}f_{\theta }(x)\\[5pt]&=\sum _{x:T(x)=t}a(x)b_{\theta }(t)\\[5pt]&=\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t).\end{aligned}}}$

最初の等式は多重変数の pdf の定義により、2 番目は上記のコメントにより、3 番目は仮説により、4 番目は合計が を超えていないためです。 ${\displaystyle t}$

与えられたの条件付き確率密度をとします。すると、これを明示的に表す式を導出できます。 ${\displaystyle f_{X\mid t}(x)}$ ${\displaystyle X}$ ${\displaystyle T(X)}$

${\displaystyle {\begin{aligned}f_{X\mid t}(x)&={\frac {f_{\theta }(x,t)}{f_{\theta }(t)}}\\[5pt]&={\frac {f_{\theta }(x)}{f_{\theta }(t)}}\\[5pt]&={\frac {a(x)b_{\theta }(t)}{\left(\sum _{x:T(x)=t}a(x)\right)b_{\theta }(t)}}\\[5pt]&={\frac {a(x)}{\sum _{x:T(x)=t}a(x)}}.\end{aligned}}}$

最初の等式は条件付き確率密度の定義により、2番目の等式は上記の注釈により、3番目の等式は上で証明された等式により、そして4番目の等式は簡略化により成立する。この式は に依存しないため、十分な統計量となる。^[10]${\displaystyle \theta }$ ${\displaystyle T}$

最低限の充足

十分統計量は、他の十分統計量の関数として表せる場合、最小十分統計量である。言い換えれば、 S ( X ) が最小十分統計量となるのは、^[11]

1. S ( X ) で十分であり、
2. T ( X )が十分であれば、 S ( X )= f ( T ( X ))となる関数fが存在する。

直感的に言えば、最小限の十分統計量は、パラメータθに関するすべての可能な情報を最も効率的に捕捉します。

最小十分性の有用な特徴付けは、密度f _θが存在するとき、S ( X )が最小十分性を満たす場合、

${\displaystyle {\frac {f_{\theta }(x)}{f_{\theta }(y)}}}$ θに依存しない ：S ( x )= S ( y )${\displaystyle \Longleftrightarrow }$

これは、上で述べたフィッシャーの因数分解定理の結果として生じます。

最小十分統計量が存在しないケースは、Bahadur (1954) によって示されました。^[12]しかし、軽度の条件下では、最小十分統計量は常に存在します。特にユークリッド空間では、（ に関連付けられた）確率変数がすべて離散的であるか、すべて連続的である場合、これらの条件は常に成立します。 ${\displaystyle P_{\theta }}$

最小十分統計量が存在する場合（通常はそうである）、すべての完全十分統計量は必然的に最小十分統計量となる^[13]（ただし、この記述は、完全十分統計量が存在する一方で最小十分統計量が存在しないという病的なケースを排除するものではないことに注意）。最小十分統計量が存在しないケースを見つけるのは難しいが、完全十分統計量が存在しないケースを見つけるのはそれほど難しくない。

パラメータ空間が離散的である場合、の尤度比の集合は最小十分統計量です。 ${\displaystyle \left\{{\frac {L(X\mid \theta _{i})}{L(X\mid \theta _{0})}}\right\}}$ ${\displaystyle i=1,...,k}$ ${\displaystyle \left\{\theta _{0},...,\theta _{k}\right\}}$

例

ベルヌーイ分布

X ₁、...、  X _nが期待値pを持つ独立したベルヌーイ分布の確率変数である場合、合計T ( X ) =  X ₁  + ... +  X _nはpに対する十分な統計量です（ここで、「成功」はX _i  = 1 に対応し、「失敗」は X _i  = 0 に対応します。したがって、Tは成功の総数です）。

これは結合確率分布を考慮するとわかります。

${\displaystyle \Pr\{X=x\}=\Pr\{X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}\}.}$

観測は独立しているので、これは次のように書ける。

${\displaystyle p^{x_{1}}(1-p)^{1-x_{1}}p^{x_{2}}(1-p)^{1-x_{2}}\cdots p^{x_{n}}(1-p)^{1-x_{n}}}$

そして、pと1 −  pの累乗を集めると、

${\displaystyle p^{\sum x_{i}}(1-p)^{n-\sum x_{i}}=p^{T(x)}(1-p)^{n-T(x)}}$

これは因数分解の基準を満たしており、h ( x ) = 1 は単なる定数です。

重要な特徴に注意してください。未知のパラメータpは、統計T ( x )=Σxi を_介してのみデータxと相互作用します。

具体的な応用として、これは公平なコインと偏ったコインを区別する手順を示します。

均一分布

X ₁、...、X _nが独立しており、区間 [0、θ ]上で均一に分布している場合、 T ( X ) = max( X ₁、...、X _n ) は θ に対して十分です。つまり、標本の最大値は母集団の最大値に対する十分な統計量です。

これを理解するには、 X   ( X ₁ ,..., X _n )の結合確率密度関数を考えてみましょう。観測値は独立しているので、確率密度関数は個々の密度の積として表すことができます。

${\displaystyle {\begin{aligned}f_{\theta }(x_{1},\ldots ,x_{n})&={\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{1}\leq \theta \}}\cdots {\frac {1}{\theta }}\mathbf {1} _{\{0\leq x_{n}\leq \theta \}}\\[5pt]&={\frac {1}{\theta ^{n}}}\mathbf {1} _{\{0\leq \min\{x_{i}\}\}}\mathbf {1} _{\{\max\{x_{i}\}\leq \theta \}}\end{aligned}}}$

ここで、1 _{{ ... }は}指示関数です。したがって、密度はフィッシャー・ネイマン分解定理によって要求される形をとります。ここで、h ( x ) =  1 _{{min{ x i }≥0}}となり、式の残りの部分はθとT ( x ) = max{ x _i } のみの関数となります。

実際、θの最小分散不偏推定量（MVUE）は

${\displaystyle {\frac {n+1}{n}}T(X).}$

これは、バイアスを補正するためにスケーリングされた標本最大値であり、レーマン・シェッフェの定理によりMVUEとなる。スケーリングされていない標本最大値T ( X )は、θの最大尤度推定値である。

均一分布（2つのパラメータを持つ）

が独立しており、区間（およびは未知のパラメータ）上で均一に分布している場合、 は の2 次元の十分な統計量です。 ${\displaystyle X_{1},...,X_{n}}$ ${\displaystyle [\alpha ,\beta ]}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$ ${\displaystyle (\alpha \,,\,\beta )}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\ldots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \beta -\alpha }\right)\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta \}}=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \leq x_{i}\leq \beta ,\,\forall \,i=1,\ldots ,n\}}\\&=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\quad g_{(\alpha ,\beta )}(x_{1}^{n})=\left({1 \over \beta -\alpha }\right)^{n}\mathbf {1} _{\{\alpha \,\leq \,\min _{1\leq i\leq n}X_{i}\}}\mathbf {1} _{\{\max _{1\leq i\leq n}X_{i}\,\leq \,\beta \}}.\end{aligned}}}$

はパラメータに依存せず、関数を通じてのみ依存するため${\displaystyle h(x_{1}^{n})}$ ${\displaystyle (\alpha ,\beta )}$ ${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$ ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right),}$

フィッシャー・ネイマン因数分解定理によれば、は の十分な統計量である。 ${\displaystyle T(X_{1}^{n})=\left(\min _{1\leq i\leq n}X_{i},\max _{1\leq i\leq n}X_{i}\right)}$ ${\displaystyle (\alpha \,,\,\beta )}$

ポアソン分布

X ₁、...、  X _nが独立しており、パラメータλを持つポアソン分布に従う場合、合計T ( X ) =  X ₁  + ... +  X _nはλに対する十分な統計量です 。

これを理解するには、結合確率分布を考えてみましょう。

${\displaystyle \Pr(X=x)=P(X_{1}=x_{1},X_{2}=x_{2},\ldots ,X_{n}=x_{n}).}$

観測は独立しているので、これは次のように書ける。

${\displaystyle {e^{-\lambda }\lambda ^{x_{1}} \over x_{1}!}\cdot {e^{-\lambda }\lambda ^{x_{2}} \over x_{2}!}\cdots {e^{-\lambda }\lambda ^{x_{n}} \over x_{n}!}}$

これは次のように書ける。

${\displaystyle e^{-n\lambda }\lambda ^{(x_{1}+x_{2}+\cdots +x_{n})}\cdot {1 \over x_{1}!x_{2}!\cdots x_{n}!}}$

これは因数分解基準が満たされていることを示しています。ここで、h ( x ) は階乗の積の逆数です。パラメータ λ は、その和T ( X ) を通じてのみデータと相互作用することに注意してください。

正規分布

が独立で、期待値（パラメータ）と既知の有限分散を持つ正規分布である場合、 ${\displaystyle X_{1},\ldots ,X_{n}}$ ${\displaystyle \theta }$ ${\displaystyle \sigma ^{2},}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$

十分な統計量である${\displaystyle \theta .}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {(x_{i}-\theta )^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-\sum _{i=1}^{n}{\frac {\left(\left(x_{i}-{\overline {x}}\right)-\left(\theta -{\overline {x}}\right)\right)^{2}}{2\sigma ^{2}}}\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+\sum _{i=1}^{n}(\theta -{\overline {x}})^{2}-2\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})\right)\right)\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\left(\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}+n(\theta -{\overline {x}})^{2}\right)\right)&&\sum _{i=1}^{n}(x_{i}-{\overline {x}})(\theta -{\overline {x}})=0\\[6pt]&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})&=(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\exp \left(-{1 \over 2\sigma ^{2}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\right)\\[6pt]g_{\theta }(x_{1}^{n})&=\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right)\end{aligned}}}$

はパラメータに依存せず、関数を通じて のみ依存するため${\displaystyle h(x_{1}^{n})}$ ${\displaystyle \theta }$ ${\displaystyle g_{\theta }(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$

${\displaystyle T(X_{1}^{n})={\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}X_{i},}$

フィッシャー・ネイマン因数分解定理によれば、は の十分な統計量である。 ${\displaystyle T(X_{1}^{n})}$ ${\displaystyle \theta }$

が未知であり、 なので、上記の尤度は次のように書き直すことができる。 ${\displaystyle \sigma ^{2}}$ ${\displaystyle s^{2}={\frac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})=(2\pi \sigma ^{2})^{-n/2}\exp \left(-{\frac {n-1}{2\sigma ^{2}}}s^{2}\right)\exp \left(-{\frac {n}{2\sigma ^{2}}}(\theta -{\overline {x}})^{2}\right).\end{aligned}}}$

フィッシャー・ネイマン因数分解定理は依然として成り立ち、が の十分な結合統計量であることを意味します。 ${\displaystyle ({\overline {x}},s^{2})}$ ${\displaystyle (\theta ,\sigma ^{2})}$

指数分布

が独立しており、期待値θ (未知の実数値の正のパラメータ)を持つ指数分布である場合、 はθ の十分な統計量です。 ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}{1 \over \theta }\,e^{{-1 \over \theta }x_{i}}={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{\theta }(x_{1}^{n})={1 \over \theta ^{n}}\,e^{{-1 \over \theta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

はパラメータに依存せず、関数を通じてのみ依存するため${\displaystyle h(x_{1}^{n})}$ ${\displaystyle \theta }$ ${\displaystyle g_{\theta }(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$ ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$

フィッシャー・ネイマン因数分解定理によれば、は の十分な統計量である。 ${\displaystyle T(X_{1}^{n})=\sum _{i=1}^{n}X_{i}}$ ${\displaystyle \theta }$

ガンマ分布

が独立で として分布している場合（およびはガンマ分布の未知のパラメータ）、 は の2 次元の十分な統計量です。 ${\displaystyle X_{1},\dots ,X_{n}}$ ${\displaystyle \Gamma (\alpha \,,\,\beta )}$ ${\displaystyle \alpha }$ ${\displaystyle \beta }$ ${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}{X_{i}},\sum _{i=1}^{n}X_{i}\right)}$ ${\displaystyle (\alpha ,\beta )}$

これを理解するには、の結合確率密度関数を考えてみましょう。観測値は独立しているので、pdfは個々の密度の積として表すことができます。つまり、 ${\displaystyle X_{1}^{n}=(X_{1},\dots ,X_{n})}$

${\displaystyle {\begin{aligned}f_{X_{1}^{n}}(x_{1}^{n})&=\prod _{i=1}^{n}\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)x_{i}^{\alpha -1}e^{(-1/\beta )x_{i}}\\[5pt]&=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

サンプルの結合密度は、フィッシャー・ネイマン因数分解定理によって求められる形をとり、

${\displaystyle {\begin{aligned}h(x_{1}^{n})=1,\,\,\,g_{(\alpha \,,\,\beta )}(x_{1}^{n})=\left({1 \over \Gamma (\alpha )\beta ^{\alpha }}\right)^{n}\left(\prod _{i=1}^{n}x_{i}\right)^{\alpha -1}e^{{-1 \over \beta }\sum _{i=1}^{n}x_{i}}.\end{aligned}}}$

はパラメータに依存せず、関数を通じてのみ依存するため${\displaystyle h(x_{1}^{n})}$ ${\displaystyle (\alpha \,,\,\beta )}$ ${\displaystyle g_{(\alpha \,,\,\beta )}(x_{1}^{n})}$ ${\displaystyle x_{1}^{n}}$ ${\displaystyle T(x_{1}^{n})=\left(\prod _{i=1}^{n}x_{i},\sum _{i=1}^{n}x_{i}\right),}$

フィッシャー・ネイマン因数分解定理によれば、${\displaystyle T(X_{1}^{n})=\left(\prod _{i=1}^{n}X_{i},\sum _{i=1}^{n}X_{i}\right)}$ ${\displaystyle (\alpha \,,\,\beta ).}$

ラオ・ブラックウェルの定理

十分性はラオ・ブラックウェル定理に有用に応用される。この定理は、g ( X ) がθの何らかの推定値である場合、通常、十分な統計量T ( X ) を与えられたg ( X )の条件付き期待値は、 θのより良い推定値（分散が低いという意味で）であり、決して劣ることはない、と述べている。場合によっては、非常に粗い推定値g ( X )を非常に簡単に構築し、その条件付き期待値を評価することで、様々な意味で最適な推定値を得ることができる。

指数族

ピットマン・クープマン・ダルモワの定理によれば、推定されるパラメータによって定義域が変化しない確率分布族の中で、指数分布族においてのみ、標本数が増加しても次元が有界のままである十分な統計量が存在する。直感的には、これは実数直線上の非指数分布族では、データの情報を完全に捉えるために ノンパラメトリック統計量が必要であることを意味している。

もっと簡単に言えば、が独立した同一分布の実数ランダム変数であり、その分布が によってパラメータ化されたある確率分布族に属することがわかっており、特定の技術的な正則性条件を満たしているとすると、その族が指数族であるためには、サンプルサイズnが増加してもスカラー成分の数が増加しない十分な 値統計量が存在する必要がある。^[14]${\displaystyle X_{n},n=1,2,3,\dots }$ ${\displaystyle \theta }$ ${\displaystyle \mathbb {R} ^{m}}$ ${\displaystyle T(X_{1},\dots ,X_{n})}$ ${\displaystyle m}$

この定理は、有限次元の実ベクトル値の十分な統計量の存在が、実数直線上の分布の族の可能な形式を厳しく制限することを示しています。

パラメータやランダム変数が実数値ではなくなると、状況はさらに複雑になります。^[15]

その他の充足性の種類

ベイズ十分性

統計量が十分であるという条件をベイズ流の文脈で定式化すると、データセット全体を用いた場合と統計量のみを用いた場合の事後分布が考慮される。したがって、ほぼすべてのxに対して、

${\displaystyle \Pr(\theta \mid X=x)=\Pr(\theta \mid T(X)=t(x)).}$

より一般的には、パラメトリックモデルを仮定せずに、統計量Tが予測的に十分であると言えるのは、

${\displaystyle \Pr(X'=x'\mid X=x)=\Pr(X'=x'\mid T(X)=t(x)).}$

この「ベイズ的十分性」は上記の定式化の結果であることが判明しているが^[16] 、無限次元の場合、それらは直接的には同等ではない。^[17]ベイズ的文脈における十分性については、様々な理論的結果が得られている。^[18]

線形充足性

「線形十分性」と呼ばれる概念は、ベイズ理論の文脈^[19]、そしてより一般的には^[20]で定式化することができる。まず、ベクトルYのXに基づく最良の線形予測子を と定義する。すると、線形統計量T ( x )が線形十分性を持つのは^[21]、 ${\displaystyle {\hat {E}}[Y\mid X]}$

${\displaystyle {\hat {E}}[\theta \mid X]={\hat {E}}[\theta \mid T(X)].}$

参照

• 統計の完全性
• 完全な十分統計量と補助統計量の独立性に関するバスの定理
• レーマン・シェッフェ定理：完全十分推定量はその期待値の最良の推定量である
• ラオ・ブラックウェルの定理
• チェンツォフの定理
• 十分な次元削減
• 補助統計

注記

1. Dodge, Y. (2003) — 線形充足性の項目
2. フィッシャー, RA (1922). 「理論統計の数学的基礎について」. Philosophical Transactions of the Royal Society A . 222 ( 594– 604): 309– 368. Bibcode :1922RSPTA.222..309F. doi : 10.1098/rsta.1922.0009 . hdl : 2440/15172 . JFM  48.1280.02. JSTOR  91208.
3. スティグラー、スティーブン（1973年12月）「確率統計史研究 第32章 ラプラス、フィッシャー、そして十分性の概念の発見」Biometrika 60 ( 3): 439– 445. doi :10.1093/biomet/60.3.439. JSTOR  2334992. MR  0326872.
4. Casella, George; Berger, Roger L. (2002).統計的推論, 第2版. Duxbury Press.
5. Cover, Thomas M. (2006). 『情報理論の要素』 Joy A. Thomas (第2版). ホーボーケン, ニュージャージー: Wiley-Interscience. p. 36. ISBN 0-471-24195-4. OCLC  59879802.
6. Halmos, PR; Savage, LJ (1949). 「ラドン・ニコディムの定理の十分統計理論への応用」 .数理統計年報. 20 (2): 225– 241. doi : 10.1214/aoms/1177730032 . ISSN  0003-4851.
7. 「因数分解定理 - 数学百科事典」. encyclopediaofmath.org . 2022年9月7日閲覧。
8. Taraldsen, G. (2022). 「十分性のための因数分解定理」.プレプリント. doi :10.13140/RG.2.2.15068.87687.
9. ホッグ, ロバート V.; クレイグ, アレン T. (1995).数理統計学入門. プレンティス・ホール. ISBN 978-0-02-355722-4。
10. 「フィッシャー・ネイマン因数分解定理」.Connexions のウェブページ (cnx.org)
11. Dodge (2003) — 最小限の十分統計量のエントリ
12. レーマンとカセラ（1998年）、点推定理論、第2版、シュプリンガー、p 37
13. Lehmann and Casella (1998)、「点推定理論」第2版、Springer、42ページ
14. Tikochinsky, Y.; Tishby, NZ; Levine, RD (1984-11-01). 「最大エントロピー推論への代替アプローチ」 . Physical Review A. 30 ( 5): 2638– 2644. Bibcode :1984PhRvA..30.2638T. doi :10.1103/physreva.30.2638. ISSN  0556-2791.
15. アンダーセン、アーリング・ベルンハルト（1970年9月）「離散標本空間における十分性と指数族」アメリカ統計学会誌、65（331）：1248-1255。doi：10.1080/01621459.1970.10481160。ISSN 0162-1459  。
16. Bernardo, JM ; Smith, AFM (1994). 「セクション5.1.4」.ベイズ理論. Wiley. ISBN 0-471-92416-4。
17. Blackwell, D. ; Ramamoorthi, RV (1982). 「ベイズ統計だが古典的には十分ではない統計量」Annals of Statistics . 10 (3): 1025– 1026. doi : 10.1214/aos/1176345895 . MR  0663456. Zbl  0485.62004.
18. Nogales, AG; Oyola, JA; Perez, P. (2000). 「ベイズ的観点から見た条件付き独立性と十分性と不変性の関係について」 . Statistics & Probability Letters . 46 (1): 75– 84. doi :10.1016/S0167-7152(99)00089-9. MR  1731351. Zbl  0964.62003.
19. Goldstein, M.; O'Hagan, A. (1996). 「ベイズ線形十分性と専門家事後評価システム」.英国王立統計学会誌. シリーズB. 58 (2): 301– 316. doi :10.1111/j.2517-6161.1996.tb02083.x. JSTOR  2345978.
20. Godambe, VP (1966). 「有限母集団からのサンプリングへの新しいアプローチ II 分布に依存しない十分性」.英国王立統計学会誌. シリーズB. 28 (2): 320– 328. doi :10.1111/j.2517-6161.1966.tb00645.x. JSTOR  2984375.
21. Witting, T. (1987). 「信頼性理論における線形マルコフ性」. ASTIN Bulletin . 17 (1): 71– 84. doi : 10.2143/ast.17.1.2014984 . hdl : 20.500.11850/422507 .

参考文献

• Kholevo, AS (2001) [1994]、「十分な統計量」、数学百科事典、EMSプレス
• レーマン, EL; カセラ, G. (1998).点推定理論（第2版）. シュプリンガー. 第4章. ISBN 0-387-98502-6。
• ドッジ、Y. (2003)オックスフォード統計用語辞典、OUP. ISBN 0-19-920613-9