ウッドベリー行列の恒等式

Theorem of matrix ranks

数学、特に線形代数において、ウッドベリー行列恒等式(Woodbury Matrix Identity )は、マックス・A・ウッドベリー[1] [2]にちなんで名付けられ、ある行列のランクk補正の逆行列は、元の行列の逆行列にランクk補正を施すことで計算できるというものである。この公式は、行列逆行列の補題シャーマン・モリソン・ウッドベリー公式、あるいは単にウッドベリー公式とも呼ばれる。しかし、この恒等式はウッドベリー報告以前のいくつかの論文にも登場している。[3] [4]

ウッドベリー行列の恒等式は[5] ( A + U C V ) 1 = A 1 A 1 U ( C 1 + V A 1 U ) 1 V A 1 , {\displaystyle \left(A+UCV\right)^{-1}=A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1},}

ここでAUCVは適合行列です。An × nCk × kUn × kVk × nです。これはブロック単位の逆行列変換を用いて導出できます

この恒等式は主に行列に使用されますが、一般Ab カテゴリでも成立します。

ウッドベリー行列恒等式は、線形方程式の逆行列と解を安価に計算することを可能にする。しかし、この公式の数値安定性についてはほとんど知られていない。その誤差範囲に関する公表された結果は存在しない。逸話的証拠[6]は、一見無害な例(元の行列と修正された行列の両方が条件付きである場合)であっても、発散する可能性があることを示唆している。

議論

この結果を証明するために、まずはより単純な例から証明しましょう。AとCを単位行列Iに置き換えるともう少し単純 単位行列が得られます。 この簡約された単位行列 から元の方程式を復元するにはを、と置き換えます ( I + U V ) 1 = I U ( I + V U ) 1 V . {\displaystyle \left(I+UV\right)^{-1}=I-U\left(I+VU\right)^{-1}V.} U {\displaystyle U} A 1 U {\displaystyle A^{-1}U} V {\displaystyle V} C V {\displaystyle CV}

この恒等式自体は、2つのより単純な恒等式の組み合わせと見ることができます。最初の恒等式は このようにして得られ、 同様にし て得られます 。2番目の恒等式は、いわゆるプッシュスルー恒等式[7]で、右側に を、左側に を乗じる ことで得られます 。 I = ( I + P ) 1 ( I + P ) = ( I + P ) 1 + ( I + P ) 1 P , {\displaystyle I=(I+P)^{-1}(I+P)=(I+P)^{-1}+(I+P)^{-1}P,} ( I + P ) 1 = I ( I + P ) 1 P , {\displaystyle (I+P)^{-1}=I-(I+P)^{-1}P,} ( I + P ) 1 = I P ( I + P ) 1 . {\displaystyle (I+P)^{-1}=I-P(I+P)^{-1}.} ( I + U V ) 1 U = U ( I + V U ) 1 {\displaystyle (I+UV)^{-1}U=U(I+VU)^{-1}} U ( I + V U ) = ( I + U V ) U {\displaystyle U(I+VU)=(I+UV)U} ( I + V U ) 1 {\displaystyle (I+VU)^{-1}} ( I + U V ) 1 {\displaystyle (I+UV)^{-1}}

すべてをまとめると、 最初の等式と 2 番目の等式は、それぞれ最初の恒等式と 2 番目の恒等式から生じます。 ( I + U V ) 1 = I U V ( I + U V ) 1 = I U ( I + V U ) 1 V . {\displaystyle \left(I+UV\right)^{-1}=I-UV\left(I+UV\right)^{-1}=I-U\left(I+VU\right)^{-1}V.}

特殊なケース

がベクトルのとき、この恒等式はシャーマン・モリソンの公式に簡約されます。 V , U {\displaystyle V,U}

スカラーの場合、簡約版は単純に 1 1 + u v = 1 u v 1 + v u . {\displaystyle {\frac {1}{1+uv}}=1-{\frac {uv}{1+vu}}.}

和の逆数

n = kかつU = V = I nが単位行列である 場合、

( A + B ) 1 = A 1 A 1 ( B 1 + A 1 ) 1 A 1 = A 1 A 1 ( A B 1 + I ) 1 . {\displaystyle {\begin{aligned}\left(A+B\right)^{-1}&=A^{-1}-A^{-1}\left(B^{-1}+A^{-1}\right)^{-1}A^{-1}\\[1ex]&=A^{-1}-A^{-1}\left(AB^{-1}+{I}\right)^{-1}.\end{aligned}}}

上記の式の右辺の項を統合し続けると、Huaの恒等式が得られる。 ( A + B ) 1 = A 1 ( A + A B 1 A ) 1 . {\displaystyle \left({A}+{B}\right)^{-1}={A}^{-1}-\left({A}+{A}{B}^{-1}{A}\right)^{-1}.}

同じアイデンティティのもう一つの有用な形は ( A B ) 1 = A 1 + A 1 B ( A B ) 1 , {\displaystyle \left({A}-{B}\right)^{-1}={A}^{-1}+{A}^{-1}{B}\left({A}-{B}\right)^{-1},}

これは、上記のものとは異なり、 が特異 であっても有効でありスペクトル半径が1未満の 場合にとなる再帰構造を持ちます。つまり、上記の和が収束する場合、 は に等しくなります B {\displaystyle B} ( A B ) 1 = k = 0 ( A 1 B ) k A 1 {\displaystyle \left({A}-{B}\right)^{-1}=\sum _{k=0}^{\infty }\left({A}^{-1}{B}\right)^{k}{A}^{-1}} A 1 B {\displaystyle A^{-1}B} ( A B ) 1 {\displaystyle (A-B)^{-1}}

この形式は、 BがAの摂動である摂動展開で使用できます

バリエーション

二項逆定理

ABUVがそれぞれ n × nk × kn × kk × nの大きさの行列である場合、 ( A + U B V ) 1 = A 1 A 1 U B ( B + B V A 1 U B ) 1 B V A 1 {\displaystyle \left(A+UBV\right)^{-1}=A^{-1}-A^{-1}UB\left(B+BVA^{-1}UB\right)^{-1}BVA^{-1}}

ただし、AB + BVA −1 UBは非特異である。後者の非特異性は、B −1がB ( I + VA −1 UB )に等しく、後者の階数がBの階数を超えることができないため、B −1が存在することを必要とする。[7]

Bは逆数であるため、右辺の括弧内の逆数を挟む2つのB項は( B −1 ) −1に置き換えることができ、その結果、元のウッドベリー恒等式が得られます。

Bが特異で非正則な場合のバリエーション: [7] ( A + U B V ) 1 = A 1 A 1 U ( I + B V A 1 U ) 1 B V A 1 . {\displaystyle (A+UBV)^{-1}=A^{-1}-A^{-1}U(I+BVA^{-1}U)^{-1}BVA^{-1}.}

Aが特異な特定のケースについても公式が存在する[8]

半正定値行列の擬似逆行列

一般に、ウッドベリーの恒等式は、1つ以上の逆元が(ムーア・ペンローズ)擬似逆元に置き換えられた場合、成立しない。しかし、とが半正定値であり(それ自体が半正定値であることを意味する)場合、次の式が一般化を与える:[9] [10] A {\displaystyle A} C {\displaystyle C} V = U H {\displaystyle V=U^{\mathrm {H} }} A + U C V {\displaystyle A+UCV} ( X X H + Y Y H ) + = ( Z Z H ) + + ( I Y Z + ) H X + H E X + ( I Y Z + ) , Z = ( I X X + ) Y , E = I X + Y ( I Z + Z ) F 1 ( X + Y ) H , F = I + ( I Z + Z ) Y H ( X X H ) + Y ( I Z + Z ) , {\displaystyle {\begin{aligned}\left(XX^{\mathrm {H} }+YY^{\mathrm {H} }\right)^{+}&=\left(ZZ^{\mathrm {H} }\right)^{+}+\left(I-YZ^{+}\right)^{\mathrm {H} }X^{+\mathrm {H} }EX^{+}\left(I-YZ^{+}\right),\\Z&=\left(I-XX^{+}\right)Y,\\E&=I-X^{+}Y\left(I-Z^{+}Z\right)F^{-1}\left(X^{+}Y\right)^{\mathrm {H} },\\F&=I+\left(I-Z^{+}Z\right)Y^{\mathrm {H} }\left(XX^{\mathrm {H} }\right)^{+}Y\left(I-Z^{+}Z\right),\end{aligned}}}

ここで、は と書くことができます。なぜなら、任意の半正定値行列は、ある に対して と等しいからです A + U C U H {\displaystyle A+UCU^{\mathrm {H} }} X X H + Y Y H {\displaystyle XX^{\mathrm {H} }+YY^{\mathrm {H} }} M M H {\displaystyle MM^{\mathrm {H} }} M {\displaystyle M}

派生

直接的な証拠

この式は、ウッドベリー恒等式の右側にある逆行列を掛けると恒等行列になることを 確認すれば証明できます。 ( A + U C V ) {\displaystyle (A+UCV)} ( A + U C V ) [ A 1 A 1 U ( C 1 + V A 1 U ) 1 V A 1 ] = { I U ( C 1 + V A 1 U ) 1 V A 1 } + { U C V A 1 U C V A 1 U ( C 1 + V A 1 U ) 1 V A 1 } = { I + U C V A 1 } { U ( C 1 + V A 1 U ) 1 V A 1 + U C V A 1 U ( C 1 + V A 1 U ) 1 V A 1 } = I + U C V A 1 ( U + U C V A 1 U ) ( C 1 + V A 1 U ) 1 V A 1 = I + U C V A 1 U C ( C 1 + V A 1 U ) ( C 1 + V A 1 U ) 1 V A 1 = I + U C V A 1 U C V A 1 = I . {\displaystyle {\begin{aligned}&\left(A+UCV\right)\left[A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right]\\={}&\left\{I-U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}+\left\{UCVA^{-1}-UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}\\={}&\left\{I+UCVA^{-1}\right\}-\left\{U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}+UCVA^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\right\}\\={}&I+UCVA^{-1}-\left(U+UCVA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\\={}&I+UCVA^{-1}-UC\left(C^{-1}+VA^{-1}U\right)\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}\\={}&I+UCVA^{-1}-UCVA^{-1}\\={}&I.\end{aligned}}}

代替証明

アプリケーション

この恒等式は、A −1が既に計算されていて、 ( A  +  UCV ) −1を計算したい特定の数値計算で役立ちます。 Aの逆行列が利用できるので、恒等式の右辺を使用して結果を得るには、C −1  +  VA −1 Uの逆行列を求めるだけで済みます。 C の次元がAよりはるかに小さい場合、 A  +  UCV を直接反転するよりも効率的です。一般的なケースは、 A低ランク更新A  +  UCVの逆行列を求めること(ただし、 Uは数列のみ、V は数行のみ)、または行列Bが低ランク行列UCVで近似できる場合 (たとえば、特異値分解を使用)、行列A  +  Bの逆行列の近似値を求めることです。

これは、例えばカルマンフィルタ再帰最小二乗法において、状態ベクトルサイズの行列の逆行列を必要とするパラメトリック解を、条件方程式に基づく解に置き換えるために適用されます。カルマンフィルタの場合、この行列は観測ベクトルの次元を持ちます。つまり、一度に1つの新しい観測値のみを処理する場合、この行列の次元は1まで小さくなります。これにより、フィルタの計算はリアルタイムで行われることが多く、その計算速度が大幅に向上します。

Cが単位行列Iである場合、この行列は数値線形代数数値偏微分方程式では容量行列として知られています[4] I + V A 1 U {\displaystyle I+VA^{-1}U}

参照

注記

  1. ^ Max A. Woodbury,修正行列の反転, 覚書報告書42, 統計研究グループ, プリンストン大学, プリンストン, ニュージャージー州, 1950, 4pp MR  0038136
  2. ^ Max A. Woodbury, The Stability of Out-Input Matrices . Chicago, Ill., 1949. 5 pp. MR  0032564
  3. ^ Guttmann, Louis (1946). 「逆行列を計算するための拡大法」. Ann. Math. Statist . 17 (3): 336– 343. doi : 10.1214/aoms/1177730946 .
  4. ^ ab Hager, William W. (1989). 「行列の逆行列の更新」. SIAM Review . 31 (2): 221– 239. doi :10.1137/1031049. JSTOR  2030425. MR  0997457.
  5. ^ ハイアム、ニコラス(2002).数値アルゴリズムの精度と安定性(第2版). SIAM . p. 258. ISBN 978-0-89871-521-7. MR  1927606。
  6. ^ 「 MathOverflowの議論」。MathOverflow
  7. ^ abc Henderson, HV; Searle, SR (1981). 「行列の和の逆行列の導出について」(PDF) . SIAM Review . 23 (1): 53– 60. doi :10.1137/1023004. hdl : 1813/32749 . JSTOR  2029838.
  8. ^ Kurt S. Riedel、「ランク増加行列のシャーマン・モリソン・ウッドベリー恒等式とセンタリングへの応用」、SIAM Journal on Matrix Analysis and Applications、13 (1992)659-662、doi :10.1137/0613040 プレプリントMR  1152773
  9. ^ バーンスタイン、デニス・S. (2018). 『スカラー、ベクトル、行列数学:理論、事実、公式』(改訂増補版)プリンストン:プリンストン大学出版局. p. 638. ISBN 9780691151205
  10. ^ Schott, James R. (2017). 『統計のための行列分析(第3版)』ニュージャージー州ホーボーケン: John Wiley & Sons, Inc. p. 219. ISBN 9781119092483
  • Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007)「セクション2.7.3. Woodbury Formula」『Numerical Recipes: The Art of Scientific Computing』(第3版)、ケンブリッジ大学出版局、ISBN 978-0-521-88068-8
Retrieved from "https://en.wikipedia.org/w/index.php?title=Woodbury_matrix_identity&oldid=1306823836"