投影行列

統計学において、射影行列^{[ 1 ]}（影響行列^{[ 2 ]} 、ハット行列とも呼ばれる）は、応答値（従属変数値）のベクトルを適合値（または予測値）のベクトルにマッピングする。これは、各応答値が各適合値に与える影響を表す。 ^{[ 3 ] [ 4 ]}射影行列の対角要素はてこ比であり、これは同じ観測値に対する各応答値が適合値に与える影響を表す。 ${\displaystyle (\mathbf {P} )}$ ${\displaystyle (\mathbf {H} )}$

意味

応答値のベクトルを、適合値のベクトルを と表すと、 ${\displaystyle \mathbf {y} }$ ${\displaystyle \mathbf {\hat {y}} }$

${\displaystyle \mathbf {\hat {y}} =\mathbf {P} \mathbf {y} .}$

通常「Y ハット」と発音されるように、投影行列は「帽子をかぶる」ことからハット行列とも呼ばれます。 ${\displaystyle \mathbf {\hat {y}} }$ ${\displaystyle \mathbf {P} }$ ${\displaystyle \mathbf {y} }$

残余財産の申請

残差 ベクトルの式は、射影行列を使って簡潔に表現することもできます。 ${\displaystyle \mathbf {r} }$

${\displaystyle \mathbf {r} =\mathbf {y} -\mathbf {\hat {y}} =\mathbf {y} -\mathbf {P} \mathbf {y} =\left(\mathbf {I} -\mathbf {P} \right)\mathbf {y} .}$

ここでは単位行列です。この行列は残差マーカー行列または消滅行列と呼ばれることもあります。 ${\displaystyle \mathbf {I} }$ ${\displaystyle \mathbf {M} :=\mathbf {I} -\mathbf {P} }$

残差の共分散行列は、誤差伝播により、 ${\displaystyle \mathbf {r} }$

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)^{\textsf {T}}\mathbf {\Sigma } \left(\mathbf {I} -\mathbf {P} \right)}$ 、

ここで、は誤差ベクトル（および拡張により応答ベクトル）の共分散行列である。独立かつ同一分布に従う誤差を持つ線形モデルの場合、これは次のように簡約される：^{[ 3 ]}${\displaystyle \mathbf {\Sigma } }$ ${\displaystyle \mathbf {\Sigma } =\sigma ^{2}\mathbf {I} }$

${\displaystyle \mathbf {\Sigma } _{\mathbf {r} }=\left(\mathbf {I} -\mathbf {P} \right)\sigma ^{2}}$ 。

直感

行列の列空間は緑の線で表されます。あるベクトルを行列の列空間に射影したものは、ベクトル${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {x} }$

図から、ベクトルから の列空間への最も近い点は であり、 の列空間に直交する線を引ける点であることがわかります。行列の列空間に直交するベクトルは、行列転置の 零空間内にあるため、${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {Ax} }$ ${\displaystyle \mathbf {A} }$

${\displaystyle \mathbf {A} ^{\textsf {T}}(\mathbf {b} -\mathbf {Ax} )=0}$ 。

そこから並べ替えると

${\displaystyle {\begin{aligned}&&\mathbf {A} ^{\textsf {T}}\mathbf {b} &-\mathbf {A} ^{\textsf {T}}\mathbf {Ax} =0\\\Rightarrow &&\mathbf {A} ^{\textsf {T}}\mathbf {b} &=\mathbf {A} ^{\textsf {T}}\mathbf {Ax} \\\Rightarrow &&\mathbf {x} &=\left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}\mathbf {b} \end{aligned}}}$ 。

したがって、は の列空間上にあるので、に写像する射影行列は です。 ${\displaystyle \mathbf {Ax} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {b} }$ ${\displaystyle \mathbf {A} \mathbf {x} }$ ${\displaystyle \mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}}$

線形モデル

線形最小二乗法を用いて線形モデルを推定したいとします。モデルは次のように表すことができます。

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},}$

ここで、 は説明変数の行列（設計行列）、βは推定される未知のパラメータのベクトル、εは誤差ベクトルです。 ${\displaystyle \mathbf {X} }$

多くの種類のモデルや手法がこの定式化の対象となります。例としては、線形最小二乗法、平滑化スプライン、回帰スプライン、局所回帰、カーネル回帰、線形フィルタリングなどが挙げられます。

通常の最小二乗法

各観測値の重みが同一で、誤差が無相関の場合、推定パラメータは

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} ,}$

したがって適合値は

${\displaystyle {\hat {\mathbf {y} }}=\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {y} .}$

したがって、射影行列（およびハット行列）は次のように与えられる。

${\displaystyle \mathbf {P} :=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}.}$

加重最小二乗法と一般化最小二乗法

上記は、重みが同一でない場合や誤差が相関している場合にも一般化できる。誤差の共分散行列をΣとすると、

${\displaystyle {\hat {\mathbf {\beta } }}_{\text{GLS}}=\left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {y} }$ 。

帽子行列はこうして

${\displaystyle \mathbf {H} =\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}\mathbf {\Sigma } ^{-1}}$

また、 であることが分かりますが、今度は対称ではなくなりました。 ${\displaystyle H^{2}=H\cdot H=H}$

プロパティ

射影行列には、いくつかの有用な代数的性質があります。^{[ 5 ] [ 6 ]}線形代数の言語では、射影行列は計画行列の列空間への直交射影です。^{[ 4 ]} （はXの擬似逆行列であることに注意。）この設定における射影行列のいくつかの事実は、次のようにまとめられます。^{[ 4 ]}${\displaystyle \mathbf {X} }$ ${\displaystyle \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$

• ${\displaystyle \mathbf {u} =(\mathbf {I} -\mathbf {P} )\mathbf {y} ,}$ そして${\displaystyle \mathbf {u} =\mathbf {y} -\mathbf {P} \mathbf {y} \perp \mathbf {X} .}$
• ${\displaystyle \mathbf {P} }$ は対称であり、 も同様です。${\displaystyle \mathbf {M} :=\mathbf {I} -\mathbf {P} }$
• ${\displaystyle \mathbf {P} }$ はべき等です: 、 も同様です。${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$ ${\displaystyle \mathbf {M} }$
• がn × r行列で、が成り立つ場合、${\displaystyle \mathbf {X} }$ ${\displaystyle \operatorname {rank} (\mathbf {X} )=r}$ ${\displaystyle \operatorname {rank} (\mathbf {P} )=r}$
• の固有値はr個の1とn − r個の0から構成され、の固有値はn − r個の1とr個の0から構成される。^{[ 7 ]}${\displaystyle \mathbf {P} }$ ${\displaystyle \mathbf {M} }$
• ${\displaystyle \mathbf {X} }$ は に関して不変です 。したがって です。${\displaystyle \mathbf {P} }$ ${\displaystyle \mathbf {PX} =\mathbf {X} ,}$ ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {X} =\mathbf {0} }$
• ${\displaystyle \left(\mathbf {I} -\mathbf {P} \right)\mathbf {P} =\mathbf {P} \left(\mathbf {I} -\mathbf {P} \right)=\mathbf {0} .}$
• ${\displaystyle \mathbf {P} }$ 特定のサブスペースに対して一意です。

線形モデルに対応する投影行列は対称かつべき等性、つまり である。しかし、これは常に当てはまるわけではない。例えば、局所重み付け散布図平滑化法（LOESS）では、ハット行列は一般に対称でもべき等でもない。 ${\displaystyle \mathbf {P} ^{2}=\mathbf {P} }$

線形モデルの場合、射影行列のトレースはその線形モデルの独立パラメータの数であるの階数に等しくなります。 ^{[ 8 ]}観測において依然として線形であるLOESSなどの他のモデルの場合、射影行列はモデルの 有効自由度を定義するために使用できます。${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {y} }$

回帰分析における投影行列の実際的な応用としては、影響力のある観測値、つまり回帰の結果に大きな影響を与える観測値 を特定することに関係するてこ比やクックの距離などがあります。

ブロックワイズ式

計画行列を列ごとに と分解できると仮定する。ハット演算子または射影演算子を と定義する。同様に、残差演算子を と定義する。すると、射影行列は次のように分解できる。^{[ 9 ]}${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} ={\begin{bmatrix}\mathbf {A} &\mathbf {B} \end{bmatrix}}}$ ${\displaystyle \mathbf {P} [\mathbf {X} ]:=\mathbf {X} \left(\mathbf {X} ^{\textsf {T}}\mathbf {X} \right)^{-1}\mathbf {X} ^{\textsf {T}}}$ ${\displaystyle \mathbf {M} [\mathbf {X} ]:=\mathbf {I} -\mathbf {P} [\mathbf {X} ]}$

${\displaystyle \mathbf {P} [\mathbf {X} ]=\mathbf {P} [\mathbf {A} ]+\mathbf {P} {\big [}\mathbf {M} [\mathbf {A} ]\mathbf {B} {\big ]},}$

ここで、例えば、および である。このような分解には多くの応用がある。古典的な応用では、 はすべて1の列であり、回帰分析に切片項を追加した場合の効果を分析することができる。別の用途としては、固定効果モデルが挙げられる。ここで、は固定効果項のダミー変数からなる大きな疎行列である。この分割を用いることで、 のハット行列を、を明示的に作成することなく計算することができる。 行列は大きすぎてコンピュータのメモリに収まらない可能性がある。 ${\displaystyle \mathbf {P} [\mathbf {A} ]=\mathbf {A} \left(\mathbf {A} ^{\textsf {T}}\mathbf {A} \right)^{-1}\mathbf {A} ^{\textsf {T}}}$ ${\displaystyle \mathbf {M} [\mathbf {A} ]=\mathbf {I} -\mathbf {P} [\mathbf {A} ]}$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {A} }$ ${\displaystyle \mathbf {X} }$ ${\displaystyle \mathbf {X} }$

歴史

ハット行列は 1972 年に John Wilder によって導入されました。Hoaglin, DC と Welsch, RE (1978) による論文では、この行列の特性と、その応用例が数多く紹介されています。

参照

• 射影（線形代数）
• スチューデント化残差
• 有効自由度
• 平均および予測応答

参考文献

1. バシレフスキー、アレクサンダー (2005).統計科学における応用行列代数. ドーバー. pp.  160– 176. ISBN 0-486-44538-0。
2. 「データ同化：データ同化システムの観測影響診断」（PDF） 。2014年9月3日時点のオリジナル（PDF）からアーカイブ。
3. Hoaglin, David C.; Welsch, Roy E. (1978年2月). 「回帰分析と分散分析におけるハット行列」(PDF) . The American Statistician . 32 (1): 17– 22. doi : 10.2307/2683469 . hdl : 1721.1/1920 . JSTOR 2683469 . 
4. David A. Freedman (2009).統計モデル：理論と実践. Cambridge University Press .
5. Gans, P. (1992).化学科学におけるデータフィッティング. Wiley. ISBN 0-471-93412-7。
6. Draper, NR; Smith, H. (1998).応用回帰分析. Wiley. ISBN 0-471-17082-8。
7. 雨宮毅 (1985). 『上級計量経済学』 ケンブリッジ: ハーバード大学出版局. pp.  460–461 . ISBN 0-674-00560-0。
8. 「線形回帰における「ハット」行列のトレースがXのランクであることの証明」 Stack Exchange 2017年4月13日。
9. ラオ、C. ラダクリシュナ;トウテンブルク、ヘルゲ。シャラブ。ヒューマン、クリスチャン (2008)。線形モデルと一般化(第 3 版)。ベルリン：シュプリンガー。 p.  323 . ISBN 978-3-540-74226-5。