数学 において、行列計算は 多変数計算 、特に行列 空間上での計算を行うための特殊な表記法です。行列計算は、単一の関数の多 変数 に関する偏微分 、および／または多変数関数 の単一変数に関する偏微分を、単一の実体として扱えるベクトルや行列にまとめます。これにより、多変数関数の最大値や最小値を求めたり、 微分方程式 系を解いたりといった演算が大幅に簡素化されます。ここで用いられる表記法は統計学 や工学 で一般的に用いられていますが、物理学では テンソル指数表記法 が好まれます。
2 つの競合する表記法の慣習により、行列計算の分野は 2 つの別々のグループに分かれています。2 つのグループは、スカラー のベクトルに関する導関数を列ベクトルとするか行ベクトル とするかで区別できます。ベクトルは、行列と組み合わせる場合は行ベクトルではなく列ベクトルとして扱うべきであるという共通の仮定がなされた場合でも、これらの慣習は両方とも可能です。行列計算をよく使用する 1 つの分野 (計量経済学 、統計学、推定理論 、機械学習 など) では、1 つの慣習がほぼ標準になることがあります。ただし、特定の分野内であっても、異なる著者が競合する慣習を使用していることがあります。両グループの著者は、多くの場合、自分たちの特定の慣習が標準であるかのように書いています。互換性のある表記法が使用されていることを慎重に確認せずに、異なる著者の結果を組み合わせると、重大な間違いを犯す可能性があります。これら 2 つの慣習の定義と比較は、レイアウト慣習の セクションにまとめられています。
範囲 行列計算とは、行列とベクトルを用いて従属変数の各要素を独立変数の各要素に対して微分する様々な表記法を指します。一般的に、独立変数はスカラー、ベクトル、または行列のいずれかであり、従属変数もこれらのいずれかです。それぞれの状況に応じて、異なる規則、あるいはより広い意味での「計算法」 が用いられます。行列表記法は、多くの微分を整理してまとめる便利な方法です。
最初の例として、ベクトル解析 の勾配 を考えてみましょう。3つの独立変数を持つスカラー関数 の場合、勾配はベクトル方程式で与えられます。 f （ × 1 、 × 2 、 × 3 ） {\displaystyle f(x_{1},x_{2},x_{3})}
∇ f ＝ ∂ f ∂ × 1 × ^ 1 + ∂ f ∂ × 2 × ^ 2 + ∂ f ∂ × 3 × ^ 3 、 {\displaystyle \nabla f={\frac {\partial f}{\partial x_{1}}}{\hat {x}}_{1}+{\frac {\partial f}{\partial x_{2}}}{\hat {x}}_{2}+{\frac {\partial f}{\partial x_{3}}}{\hat {x}}_{3},} ここで、は の方向の単位ベクトルを表します。このタイプの一般化微分は、スカラーf のベクトル に関する微分として見ることができ、その結果はベクトル形式で簡単にまとめることができます。 × ^ 私 {\displaystyle {\hat {x}}_{i}} × 私 {\displaystyle x_{i}} 1 ≤ 私 ≤ 3 {\displaystyle 1\leq i\leq 3} × {\displaystyle \mathbf {x} }
∇ f ＝ （ ∂ f ∂ × ） T ＝ [ ∂ f ∂ × 1 ∂ f ∂ × 2 ∂ f ∂ × 3 ] T 。 {\displaystyle \nabla f=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}={\begin{bmatrix}{\dfrac {\partial f}{\partial x_{1}}}&{\dfrac {\partial f}{\partial x_{2}}}&{\dfrac {\partial f}{\partial x_{3}}}\\\end{bmatrix}}^{\textsf {T}}.} より複雑な例としては、スカラー関数の行列に対する微分（勾配行列 と呼ばれる）が挙げられます。これは、結果の行列内の対応する位置にある各行列要素に対する微分をまとめたものです。この場合、スカラーは行列内の各独立変数の関数でなければなりません。別の例として、m個 の独立変数からなる従属変数または関数のn ベクトルがある場合、従属ベクトルの独立ベクトルに対する微分を考えることができます。結果は、すべての可能な微分の組み合わせからなるm × n
スカラー、ベクトル、行列を用いた場合、合計9つの可能性があります。独立変数と従属変数のそれぞれの要素の数が増えるにつれて、非常に多くの可能性が残されることに注意してください。行列形式で最も整理しやすい6種類の微分を次の表に示します。[ 1 ]
行列微分の種類 種類 スカラー ベクター マトリックス スカラー ∂ y ∂ × {\displaystyle {\frac {\partial y}{\partial x}}} ∂ y ∂ × {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} ∂ はい ∂ × {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} ベクター ∂ y ∂ × {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ × {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} マトリックス ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}}
ここでは「行列」という用語を最も一般的な意味で使用しており、ベクトルは単に1列の行列であり（スカラーは単に1行のベクトルである）、ベクトルは単に1列の行列であることを理解しています。さらに、太字はベクトルを、太字の大文字は行列を示しています。この表記法は本文全体で使用されています。
ベクトルの行列に対する微分、あるいは表の他の空欄に対する微分についても言及できることに注意してください。しかし、これらの微分は2階以上のテンソル に最も自然にまとめられるため、行列にうまく収まりません。以下の3つのセクションでは、これらの微分をそれぞれ定義し、他の数学の分野と関連付けます。より詳細な表については、 レイアウト規則のセクションを参照してください。
他のデリバティブとの関係 行列微分は、計算を行う際に偏微分を記録するのに便利な表記法です。フレシェ微分は、 関数解析 の分野においてベクトルに関する微分を取るための標準的な方法です。行列の行列関数がフレシェ微分可能である場合、2つの微分は表記の変換を除いて一致するでしょう。偏微分 の場合に一般的に当てはまるように、一部の公式は、線型写像を近似する微分の存在よりも弱い解析的条件下で拡張されることがあります。
使用法 行列計算は最適な確率推定値を導出するために用いられ、多くの場合ラグランジュ乗数 を用いる。これには以下の導出が含まれる。
表記 以降のセクションで説明するベクトル導関数と行列導関数は、多数の変数を 1 つの変数で表すという行列表記法の利点を最大限に活用しています。以下では、スカラー、ベクトル、行列をその書体で区別します。 M ( n , m )n m 列の実数 n × m A X Yなどと表記します。 M ( n ,1) の要素、つまり列ベクトル は、太字の小文字でa x yなどと表記します。 M (1,1) の要素はスカラーであり、小文字のイタリック体書体でa t x X T 転置 、tr( X ) はトレース 、det( X ) または| X |は 行列式 です。特に断りのない限り、すべての関数は微分可能クラス C 1
注 ：前述の通り、ベクトルと行列における偏微分系 のレイアウトには競合する表記法が存在し、まだ標準的なものは確立されていないようです。次の2つの導入セクションでは、議論が過度に複雑になるのを避けるため、便宜上、分子のレイアウト規則を使用します。その後のセクションでは、 レイアウト規則 についてより詳細に説明します。以下の点を理解することが重要です。
「分子レイアウト」と「分母レイアウト」という用語が使われているにもかかわらず、実際には表記法の選択肢は2つ以上あります。その理由は、分子と分母（あるいは場合によっては分子と混合）の選択は、スカラー×ベクトル、ベクトル×スカラー、ベクトル×ベクトル、スカラー×行列の導関数それぞれで独立して行えるためであり、多くの著者が様々な方法でこれらのレイアウトを組み合わせています。 以下の導入セクションで分子のレイアウトを選択しているからといって、それが「正しい」あるいは「優れた」選択であるとは限りません。それぞれのレイアウトには長所と短所があります。異なるレイアウトで記述された数式を不用意に組み合わせると、重大なミスにつながる可能性があり、あるレイアウトから別のレイアウトに変換する際には、ミスを避けるために注意が必要です。したがって、既存の数式を扱う際には、あらゆる状況で同じレイアウトを使用するのではなく、使用されているレイアウトを特定し、一貫性を保つことが最善策と言えるでしょう。
代替案 テンソルのインデックス表記法 とそのアインシュタイン総和 規則は、一度に 1 つの要素しか記述しないことを除けば、行列計算と非常によく似ています。この表記法には、任意の高階数のテンソルを簡単に操作できるという利点がありますが、2 階以上のテンソルは行列表記では扱いにくくなります。ここでのすべての作業は、単変数行列表記法を使用せずにこの表記法で行うことができます。ただし、推定理論やその他の応用数学の分野では、インデックスが多すぎて適切に追跡できない問題が多く発生するため、これらの分野では行列計算の方が適しています。また、アインシュタイン表記法は、ここで提示した恒等式を証明する際に、明示的な和を持ち運ぶときに扱いにくくなる可能性がある一般的な要素表記法の代わりとして非常に役立ちます (微分化 のセクションを参照)。行列は階数 2 のテンソルと見なすことができることに注意してください。
ベクトルによる微分 ベクトルは 1 列のみの行列であるため、最も単純な行列微分はベクトル微分です。
ここで展開される記法は、n ベクトルの空間M ( n ,1)を ユークリッド空間 Rnと同一視 し M (1,1)を R ベクトル解析 の通常の演算に対応する。ベクトル解析における対応する概念は、各節の末尾に示されている。
注 ：このセクションでは、教育上の目的から分子のレイアウト規則を前提としています。著者によっては異なる規則を使用している場合もあります。 レイアウト規則 のセクションでは、この問題についてより詳細に説明しています。後述の恒等式は、一般的なレイアウト規則と組み合わせて使用できる形式で提示されています。
ベクトル×スカラー ベクトル のスカラー x は （分子レイアウト表記 で）次のように 表されます。y ＝ [ y 1 y 2 ⋯ y メートル ] T {\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}}
d y d × ＝ [ d y 1 d × d y 2 d × ⋮ d y メートル d × ] 。 {\displaystyle {\frac {d\mathbf {y}}{dx}}={\begin{bmatrix}{\frac {dy_{1}}{dx}}\\{\frac {dy_{2}}{dx}}\\\vdots \\{\frac {dy_{m}}{dx}}\\\end{bmatrix}}.} ベクトル解析 において、ベクトルyのスカラー x yの 接線ベクトル y : R 1 → R m ∂ y ∂ × {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}}
例 簡単な例としては、ユークリッド空間 における速度ベクトルが挙げられます。これは 位置 ベクトル（時間の関数として考えた場合）の接線ベクトル です。また、加速度 は速度の接線ベクトルです。
スカラー×ベクトル スカラー y は、（ 分子レイアウト表記法 で）次のように 表される。× ＝ [ × 1 × 2 ⋯ × n ] {\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}}
∂ y ∂ × ＝ [ ∂ y ∂ × 1 ∂ y ∂ × 2 ⋯ ∂ y ∂ × n ] 。 {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\dfrac {\partial y}{\partial x_{1}}}&{\dfrac {\partial y}{\partial x_{2}}}&\cdots &{\dfrac {\partial y}{\partial x_{n}}}\end{bmatrix}}.} ベクトル計算 では、スカラー場f : R n → R (その独立座標は x 勾配 は、スカラーをベクトルで微分したものの転置です。
∇ f ＝ [ ∂ f ∂ × 1 ⋮ ∂ f ∂ × n ] ＝ （ ∂ f ∂ × ） T {\displaystyle \nabla f={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}\\\vdots \\{\frac {\partial f}{\partial x_{n}}}\end{bmatrix}}=\left({\frac {\partial f}{\partial \mathbf {x} }}\right)^{\mathsf {T}}} たとえば、物理学では、電場は 電位 の負のベクトル勾配 です。
空間ベクトルx f ( x )の単位ベクトル u 微分は、次のように勾配を使用して定義されます。
∇ あなた f （ × ） ＝ ∇ f （ × ） ⋅ あなた {\displaystyle \nabla _{\mathbf {u} }{f}(\mathbf {x} )=\nabla f(\mathbf {x} )\cdot \mathbf {u} } ベクトルに関するスカラーの微分に対して定義した表記法を使用すると、方向微分を と書き直すことができます。 このタイプの表記法は、スカラー微分 でよく知られているものと似た積則や連鎖律を証明するときに便利です。 ∇ あなた f ＝ ∂ f ∂ × あなた 。 {\displaystyle \nabla _{\mathbf {u} }f={\frac {\partial f}{\partial \mathbf {x} }}\mathbf {u} .}
ベクトルごと 前の2つのケースはそれぞれ、ベクトルのベクトルに関する微分（ただし、サイズ1のベクトルを適切に用いた）の適用とみなすことができます。同様に、行列を含む微分は、対応する方法でベクトルを含む微分に帰着することがわかります。
ベクトル関数 （成分が関数であるベクトル）の入力ベクトルに対する導関数は、（分子レイアウト表記法 で）次のように 表されます。y ＝ [ y 1 y 2 ⋯ y メートル ] T {\displaystyle \mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}} × ＝ [ × 1 × 2 ⋯ × n ] T {\displaystyle \mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}}
∂ y ∂ × ＝ [ ∂ y 1 ∂ × 1 ∂ y 1 ∂ × 2 ⋯ ∂ y 1 ∂ × n ∂ y 2 ∂ × 1 ∂ y 2 ∂ × 2 ⋯ ∂ y 2 ∂ × n ⋮ ⋮ ⋱ ⋮ ∂ y メートル ∂ × 1 ∂ y メートル ∂ × 2 ⋯ ∂ y メートル ∂ × n ] 。 {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.} ベクトル計算 では、要素が空間を表すベクトルx y プッシュフォワード (または微分) ヤコビ行列
R n v f d f ( v ) = ∂ f ∂ v d v . {\displaystyle d\mathbf {f} (\mathbf {v} )={\frac {\partial \mathbf {f} }{\partial \mathbf {v} }}d\mathbf {v} .}
行列の微分 行列の微分には、同じサイズの行列にまとめられる2種類があります。それは、行列のスカラーによる微分と、スカラーの行列による微分です。これらは応用数学の多くの分野における最小化問題で有用であり、ベクトルの類似物にちなんで、それぞれ接線行列 と勾配行列 と呼ばれています。
注 ：このセクションでは、教育上の目的から分子のレイアウト規則を前提としています。著者によっては異なる規則を使用している場合もあります。 レイアウト規則 のセクションでは、この問題についてより詳細に説明しています。後述の識別子は、一般的なレイアウト規則と組み合わせて使用できる形式で提示されています。
行列×スカラー 行列関数Y x 接線行列 として知られており、（分子配置表記法 で）次のように 表される。
∂ Y ∂ x = [ ∂ y 11 ∂ x ∂ y 12 ∂ x ⋯ ∂ y 1 n ∂ x ∂ y 21 ∂ x ∂ y 22 ∂ x ⋯ ∂ y 2 n ∂ x ⋮ ⋮ ⋱ ⋮ ∂ y m 1 ∂ x ∂ y m 2 ∂ x ⋯ ∂ y m n ∂ x ] . {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.}
スカラー×行列 スカラー関数yの p × q X 分子配置表記 で次のように 表される。
∂ y ∂ X = [ ∂ y ∂ x 11 ∂ y ∂ x 21 ⋯ ∂ y ∂ x p 1 ∂ y ∂ x 12 ∂ y ∂ x 22 ⋯ ∂ y ∂ x p 2 ⋮ ⋮ ⋱ ⋮ ∂ y ∂ x 1 q ∂ y ∂ x 2 q ⋯ ∂ y ∂ x p q ] . {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.} 行列のスカラー関数の重要な例としては、行列の跡と 行列式 が挙げられます。
ベクトル計算 と同様に、この導関数は次のように記述されることが多いです。
∇ X y ( X ) = ∂ y ( X ) ∂ X {\displaystyle \nabla _{\mathbf {X} }y(\mathbf {X} )={\frac {\partial y(\mathbf {X} )}{\partial \mathbf {X} }}} ベクトル解析 と同様に、行列X f ( X )の行列 Y 方向微分 は次のように表される。
∇ Y f = tr ( ∂ f ∂ X Y ) . {\displaystyle \nabla _{\mathbf {Y} }f=\operatorname {tr} \left({\frac {\partial f}{\partial \mathbf {X} }}\mathbf {Y} \right).} 特に勾配行列は、推定理論 における最小化問題、特にこの分野で非常に重要な カルマンフィルタ アルゴリズムの導出において多くの用途が見られます。
その他の行列微分 これまで考慮されていない3種類の微分は、ベクトル×行列、行列×ベクトル、行列×行列です。これらはあまり広く考慮されておらず、表記法も広く合意されていません。
レイアウト規則 この節では、行列計算を利用する様々な分野で用いられる表記法の類似点と相違点について論じます。概ね一貫した表記法は2つありますが、後述する形式では2つの表記法を混在させる方が便利だと考える著者もいます。この節以降、方程式は2つの競合する形式でそれぞれ別々に列挙されます。
根本的な問題は、ベクトルのベクトルに対する微分、すなわち が、しばしば2つの矛盾する方法で記述されることです。分子y の m x n の場合、結果はm × n n × m y m要素が行に、 x n ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}}
分子レイアウト、つまり y x T x ヤコビアン定式化と呼ばれることもあります。これは前の例の m × n x T ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} y {\displaystyle \mathbf {y} } ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} 分母レイアウト、つまり y T x y とは逆に）レイアウトします。これはヘッセ行列式 と呼ばれることもあります。一部の著者は、このレイアウトを、 その転置であるヤコビ 行列（分子レイアウト）と区別するために勾配 と呼んでいます。（ただし、勾配は n×m レイアウトに対応し、 の行数はx ∂ y ∂ x , {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} 3つ目の可能性として、導関数を （つまり、 x ∂ y ∂ x ′ , {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} '}},} 勾配 と逆勾配を扱う際にも同じ問題が発生します。一貫性を保つには、次のいずれかを行う必要があります。 ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},}
分子レイアウトを選択した場合は、勾配を 行ベクトルとして、列ベクトルとしてレイアウトする必要があります。∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},} ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} 分母レイアウトを選択した場合は、勾配を 列ベクトルとして、行ベクトルとしてレイアウトする必要があります。∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},} ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} 上記の 3 番目の可能性では、およびを記述し、分子レイアウトを使用します。∂ y ∂ x ′ {\displaystyle {\frac {\partial y}{\partial \mathbf {x} '}}} ∂ y ∂ x , {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}},} この点において、すべての数学の教科書や論文が一貫しているわけではありません。つまり、同じ本や論文でも、文脈によって異なる表記法が用いられることがあります。例えば、勾配の分母配置（列ベクトルとして配置）を選択する一方で、ベクトルごとの微分では分子配置を選択する場合があります。∂ y ∂ x . {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}.}
同様に、スカラー対行列の微分と行列対スカラーの微分については、分子の一貫したレイアウトはY X Tに従ってレイアウトされ、分母の一貫したレイアウトは Y T X Y T ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} ∂ Y ∂ x , {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},} ∂ Y ∂ x , {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},}
一貫した分子レイアウト 。YおよびX れ ます ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} 混合レイアウト: Y X ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} 一貫した分子レイアウトと同じ結果になる表記法を使用します。∂ y ∂ X ′ , {\displaystyle {\frac {\partial y}{\partial \mathbf {X} '}},} 以下の式では、 と の 5 つの可能な組み合わせを個別に扱います。また、中間ベクトルまたは行列を含むスカラーごとの微分の場合も扱います (これは、たとえば、多次元パラメトリック曲線 がスカラー変数で定義され、曲線のスカラー関数の微分が、曲線をパラメータ化するスカラーに関して取られる場合に発生します)。さまざまな組み合わせごとに、分子レイアウトと分母レイアウトの結果を示します (分母レイアウトがめったに発生しない上記の場合を除きます)。行列が関係し、それが意味をなす場合は、分子レイアウトと混合レイアウトの結果を示します。前述のように、ベクトルと行列の分母が転置表記で記述されている場合は、分母が転置表記なしで記述された分子レイアウトと同じです。 ∂ y ∂ x , ∂ y ∂ x , ∂ y ∂ x , ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }},{\frac {\partial \mathbf {y} }{\partial x}},{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }},{\frac {\partial y}{\partial \mathbf {X} }}} ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}}
導関数の種類によって分子と分母の配置の組み合わせは著者によって異なり、すべての導関数の種類において、ある著者が分子または分母のいずれかの配置を一貫して使用するという保証はありません。以下の式と出典に記載されている式を照らし合わせることで、特定の種類の導関数に使用されている配置を判断できますが、他の種類の導関数も必ずしも同じ配置に従うとは限りませんので注意してください。
総和（ベクトルまたは行列）の分母で微分を行い、その最大値または最小値を求める場合、分子レイアウトを使用すると、総和に関して転置された結果が生成されることに注意する必要があります。例えば、行列計算を用いて多変量正規分布 の最大尤度 推定値を求める場合、定義域がk ×1列ベクトルであれば、分子レイアウトを使用した結果は1× k 行ベクトルになります。したがって、結果を最後に転置するか、分母レイアウト（または混合レイアウト）を使用する必要があります。
様々な種類の集合体を他の種類の集合体と区別した結果 スカラーy 列ベクトルy m ×1 行列Y m × n 表記 タイプ 表記 タイプ 表記 タイプ スカラーx 分子 ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial x}}} スカラー ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} サイズm の列ベクトル ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} m × n 分母 サイズmの 行ベクトル 列ベクトルx n × 1 分子 ∂ y ∂ x {\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}} サイズnの 行ベクトル ∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} m × n ∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial \mathbf {x} }}} 分母 サイズnの 列ベクトル n × m 行列X p × q 分子 ∂ y ∂ X {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}} q × p ∂ y ∂ X {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {X} }}} ∂ Y ∂ X {\displaystyle {\frac {\partial \mathbf {Y} }{\partial \mathbf {X} }}} 分母 p × q
分子レイアウト表記と分母レイアウト表記を切り替えると、演算結果が転置されます。
分子レイアウト表記 分子レイアウト記法を用いると次のようになる。[ 1 ]
∂ y ∂ x = [ ∂ y ∂ x 1 ∂ y ∂ x 2 ⋯ ∂ y ∂ x n ] . ∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋮ ∂ y m ∂ x ] . ∂ y ∂ x = [ ∂ y 1 ∂ x 1 ∂ y 1 ∂ x 2 ⋯ ∂ y 1 ∂ x n ∂ y 2 ∂ x 1 ∂ y 2 ∂ x 2 ⋯ ∂ y 2 ∂ x n ⋮ ⋮ ⋱ ⋮ ∂ y m ∂ x 1 ∂ y m ∂ x 2 ⋯ ∂ y m ∂ x n ] . ∂ y ∂ X = [ ∂ y ∂ x 11 ∂ y ∂ x 21 ⋯ ∂ y ∂ x p 1 ∂ y ∂ x 12 ∂ y ∂ x 22 ⋯ ∂ y ∂ x p 2 ⋮ ⋮ ⋱ ⋮ ∂ y ∂ x 1 q ∂ y ∂ x 2 q ⋯ ∂ y ∂ x p q ] . {\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{21}}}&\cdots &{\frac {\partial y}{\partial x_{p1}}}\\{\frac {\partial y}{\partial x_{12}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{p2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{1q}}}&{\frac {\partial y}{\partial x_{2q}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}} 次の定義は分子レイアウト表記法でのみ提供されます。
∂ Y ∂ x = [ ∂ y 11 ∂ x ∂ y 12 ∂ x ⋯ ∂ y 1 n ∂ x ∂ y 21 ∂ x ∂ y 22 ∂ x ⋯ ∂ y 2 n ∂ x ⋮ ⋮ ⋱ ⋮ ∂ y m 1 ∂ x ∂ y m 2 ∂ x ⋯ ∂ y m n ∂ x ] . d X = [ d x 11 d x 12 ⋯ d x 1 n d x 21 d x 22 ⋯ d x 2 n ⋮ ⋮ ⋱ ⋮ d x m 1 d x m 2 ⋯ d x m n ] . {\displaystyle {\begin{aligned}{\frac {\partial \mathbf {Y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{11}}{\partial x}}&{\frac {\partial y_{12}}{\partial x}}&\cdots &{\frac {\partial y_{1n}}{\partial x}}\\{\frac {\partial y_{21}}{\partial x}}&{\frac {\partial y_{22}}{\partial x}}&\cdots &{\frac {\partial y_{2n}}{\partial x}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m1}}{\partial x}}&{\frac {\partial y_{m2}}{\partial x}}&\cdots &{\frac {\partial y_{mn}}{\partial x}}\\\end{bmatrix}}.\\d\mathbf {X} &={\begin{bmatrix}dx_{11}&dx_{12}&\cdots &dx_{1n}\\dx_{21}&dx_{22}&\cdots &dx_{2n}\\\vdots &\vdots &\ddots &\vdots \\dx_{m1}&dx_{m2}&\cdots &dx_{mn}\\\end{bmatrix}}.\end{aligned}}}
分母レイアウト表記 分母レイアウト記法を用いると次のようになる。[ 2 ]
∂ y ∂ x = [ ∂ y ∂ x 1 ∂ y ∂ x 2 ⋮ ∂ y ∂ x n ] . ∂ y ∂ x = [ ∂ y 1 ∂ x ∂ y 2 ∂ x ⋯ ∂ y m ∂ x ] . ∂ y ∂ x = [ ∂ y 1 ∂ x 1 ∂ y 2 ∂ x 1 ⋯ ∂ y m ∂ x 1 ∂ y 1 ∂ x 2 ∂ y 2 ∂ x 2 ⋯ ∂ y m ∂ x 2 ⋮ ⋮ ⋱ ⋮ ∂ y 1 ∂ x n ∂ y 2 ∂ x n ⋯ ∂ y m ∂ x n ] . ∂ y ∂ X = [ ∂ y ∂ x 11 ∂ y ∂ x 12 ⋯ ∂ y ∂ x 1 q ∂ y ∂ x 21 ∂ y ∂ x 22 ⋯ ∂ y ∂ x 2 q ⋮ ⋮ ⋱ ⋮ ∂ y ∂ x p 1 ∂ y ∂ x p 2 ⋯ ∂ y ∂ x p q ] . {\displaystyle {\begin{aligned}{\frac {\partial y}{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}\\{\frac {\partial y}{\partial x_{2}}}\\\vdots \\{\frac {\partial y}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial x}}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}&{\frac {\partial y_{2}}{\partial x}}&\cdots &{\frac {\partial y_{m}}{\partial x}}\end{bmatrix}}.\\{\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}&={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{1}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{1}}}\\{\frac {\partial y_{1}}{\partial x_{2}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{1}}{\partial x_{n}}}&{\frac {\partial y_{2}}{\partial x_{n}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}.\\{\frac {\partial y}{\partial \mathbf {X} }}&={\begin{bmatrix}{\frac {\partial y}{\partial x_{11}}}&{\frac {\partial y}{\partial x_{12}}}&\cdots &{\frac {\partial y}{\partial x_{1q}}}\\{\frac {\partial y}{\partial x_{21}}}&{\frac {\partial y}{\partial x_{22}}}&\cdots &{\frac {\partial y}{\partial x_{2q}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y}{\partial x_{p1}}}&{\frac {\partial y}{\partial x_{p2}}}&\cdots &{\frac {\partial y}{\partial x_{pq}}}\\\end{bmatrix}}.\end{aligned}}}
アイデンティティ 上で述べたように、一般に、分子レイアウト表記と分母レイアウト表記を切り替えると、演算結果は転置されます。
以下の恒等式の意味を理解するには、最も重要な規則である連鎖律 、積律 、和律を 覚えておく必要があります。和律は普遍的に適用され、積律は、行列積の順序が維持される限り、以下のほとんどの場合に適用されます。これは、行列積が可換ではないためです。連鎖律はいくつかの場合に適用されますが、残念ながら、行列とスカラーの微分やスカラーと行列の微分には適用されません(後者の場合は、ほとんどの場合、行列に トレース 演算子が適用されます)。後者の場合、積律を直接適用することもできませんが、微分恒等式を使用して少し作業するだけで同等のことができます。
以下のアイデンティティは、以下の規則を採用しています。
スカラーa b c d e u v はx 、x X ベクトルa b c d e u v は x 、x X 行列A B C D E U V はx 、x X
ベクトルごとの恒等式 これを最初に紹介する理由は、ベクトルごとの微分に適用されるすべての演算が、分子または分母の適切なベクトルをスカラーに減らすだけで、ベクトルごとのスカラーまたはスカラーごとの微分に直接適用されるためです。
恒等式: ベクトルごと∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}} 状態 表現 分子レイアウト、つまりy x T 分母のレイアウト、つまりy T x aは x ∂ a ∂ x = {\displaystyle {\frac {\partial \mathbf {a} }{\partial \mathbf {x} }}=} 0 {\displaystyle \mathbf {0} } ∂ x ∂ x = {\displaystyle {\frac {\partial \mathbf {x} }{\partial \mathbf {x} }}=} I {\displaystyle \mathbf {I} } Aは x ∂ A x ∂ x = {\displaystyle {\frac {\partial \mathbf {A} \mathbf {x} }{\partial \mathbf {x} }}=} A {\displaystyle \mathbf {A} } A ⊤ {\displaystyle \mathbf {A} ^{\top }} Aは x ∂ x ⊤ A ∂ x = {\displaystyle {\frac {\partial \mathbf {x} ^{\top }\mathbf {A} }{\partial \mathbf {x} }}=} A ⊤ {\displaystyle \mathbf {A} ^{\top }} A {\displaystyle \mathbf {A} } aは x u = u ( x )∂ a u ∂ x = {\displaystyle {\frac {\partial a\mathbf {u} }{\partial \,\mathbf {x} }}=} a ∂ u ∂ x {\displaystyle a{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} v = v ( x ) aは x ∂ v a ∂ x = {\displaystyle {\frac {\partial v\mathbf {a} }{\partial \mathbf {x} }}=} a ∂ v ∂ x {\displaystyle \mathbf {a} {\frac {\partial v}{\partial \mathbf {x} }}} ∂ v ∂ x a ⊤ {\displaystyle {\frac {\partial v}{\partial \mathbf {x} }}\mathbf {a} ^{\top }} v = v ( x ) u = u ( x )∂ v u ∂ x = {\displaystyle {\frac {\partial v\mathbf {u} }{\partial \mathbf {x} }}=} v ∂ u ∂ x + u ∂ v ∂ x {\displaystyle v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+\mathbf {u} {\frac {\partial v}{\partial \mathbf {x} }}} v ∂ u ∂ x + ∂ v ∂ x u ⊤ {\displaystyle v{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial v}{\partial \mathbf {x} }}\mathbf {u} ^{\top }} Aは x u = u ( x )∂ A u ∂ x = {\displaystyle {\frac {\partial \mathbf {A} \mathbf {u} }{\partial \mathbf {x} }}=} A ∂ u ∂ x {\displaystyle \mathbf {A} {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} ∂ u ∂ x A ⊤ {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}\mathbf {A} ^{\top }} u = u ( x ) v = v ( x )∂ ( u + v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial \mathbf {x} }}=} ∂ u ∂ x + ∂ v ∂ x {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}+{\frac {\partial \mathbf {v} }{\partial \mathbf {x} }}} u = u ( x )∂ g ( u ) ∂ x = {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {x} }}=} ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} ∂ u ∂ x ∂ g ( u ) ∂ u {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}} u = u ( x )∂ f ( g ( u ) ) ∂ x = {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} (\mathbf {u} ))}{\partial \mathbf {x} }}=} ∂ f ( g ) ∂ g ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}} ∂ u ∂ x ∂ g ( u ) ∂ u ∂ f ( g ) ∂ g {\displaystyle {\frac {\partial \mathbf {u} }{\partial \mathbf {x} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}
スカラー対ベクトルの恒等式 基本的なアイデンティティは太い黒い線の上に配置されます。
ベクトルとスカラーの恒等式 恒等式: ベクトル対スカラー∂ y ∂ x {\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}} 状態 表現 分子レイアウト、つまりy 分母レイアウト、つまりy T aは x ∂ a ∂ x = {\displaystyle {\frac {\partial \mathbf {a} }{\partial x}}=} 0 {\displaystyle \mathbf {0} } [ 注 1 ] aは x u = u ( x )∂ a u ∂ x = {\displaystyle {\frac {\partial a\mathbf {u} }{\partial x}}=} a ∂ u ∂ x {\displaystyle a{\frac {\partial \mathbf {u} }{\partial x}}} Aは x の関数ではない、 u = u ( x )∂ A u ∂ x = {\displaystyle {\frac {\partial \mathbf {A} \mathbf {u} }{\partial x}}=} A ∂ u ∂ x {\displaystyle \mathbf {A} {\frac {\partial \mathbf {u} }{\partial x}}} ∂ u ∂ x A ⊤ {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}\mathbf {A} ^{\top }} u = u ( x )∂ u ⊤ ∂ x = {\displaystyle {\frac {\partial \mathbf {u} ^{\top }}{\partial x}}=} ( ∂ u ∂ x ) ⊤ {\displaystyle \left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }} u = u ( x ) v = v ( x )∂ ( u + v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} +\mathbf {v} )}{\partial x}}=} ∂ u ∂ x + ∂ v ∂ x {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}+{\frac {\partial \mathbf {v} }{\partial x}}} u = u ( x ) v = v ( x )∂ ( u ⊤ × v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} ^{\top }\times \mathbf {v} )}{\partial x}}=} ( ∂ u ∂ x ) ⊤ × v + u ⊤ × ∂ v ∂ x {\displaystyle \left({\frac {\partial \mathbf {u} }{\partial x}}\right)^{\top }\times \mathbf {v} +\mathbf {u} ^{\top }\times {\frac {\partial \mathbf {v} }{\partial x}}} ∂ u ∂ x × v + u ⊤ × ( ∂ v ∂ x ) ⊤ {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}\times \mathbf {v} +\mathbf {u} ^{\top }\times \left({\frac {\partial \mathbf {v} }{\partial x}}\right)^{\top }} u = u ( x )∂ g ( u ) ∂ x = {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial x}}=} ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}} ∂ u ∂ x ∂ g ( u ) ∂ u {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}} 一貫したマトリックスレイアウトを想定しています。以下を参照してください。 u = u ( x )∂ f ( g ( u ) ) ∂ x = {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} (\mathbf {u} ))}{\partial x}}=} ∂ f ( g ) ∂ g ∂ g ( u ) ∂ u ∂ u ∂ x {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {u} }{\partial x}}} ∂ u ∂ x ∂ g ( u ) ∂ u ∂ f ( g ) ∂ g {\displaystyle {\frac {\partial \mathbf {u} }{\partial x}}{\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}{\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}} 一貫したマトリックスレイアウトを想定しています。以下を参照してください。 U = U ( x ) v = v ( x )∂ ( U × v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \times \mathbf {v} )}{\partial x}}=} ∂ U ∂ x × v + U × ∂ v ∂ x {\displaystyle {\frac {\partial \mathbf {U} }{\partial x}}\times \mathbf {v} +\mathbf {U} \times {\frac {\partial \mathbf {v} }{\partial x}}} v ⊤ × ( ∂ U ∂ x ) + ∂ v ∂ x × U ⊤ {\displaystyle \mathbf {v} ^{\top }\times \left({\frac {\partial \mathbf {U} }{\partial x}}\right)+{\frac {\partial \mathbf {v} }{\partial x}}\times \mathbf {U} ^{\top }}
注意 : ベクトルごとの導関数および(出力が行列) を含む式では、行列がベクトルのレイアウトと一致して配置されていることを前提としています。つまり、分子レイアウト ベクトルの場合は分子レイアウト 行列、その逆も同様です。それ以外の場合は、ベクトルごとの導関数を転置します。 ∂ g ( u ) ∂ u {\displaystyle {\frac {\partial \mathbf {g} (\mathbf {u} )}{\partial \mathbf {u} }}} ∂ f ( g ) ∂ g {\displaystyle {\frac {\partial \mathbf {f} (\mathbf {g} )}{\partial \mathbf {g} }}}
スカラーと行列の恒等式 スカラー積則 と連鎖律は 、行列の行列値関数に適用する場合、厳密には存在しないことに注意してください。しかし、この種の積則は微分形式（下記参照）には適用可能であり、これはトレース 関数を含む以下の多くの恒等式を導く方法でもあります。さらに、トレース関数は転置と巡回置換を許容するという事実も考慮に入れると、以下のようになります。
tr ( A ) = tr ( A ⊤ ) tr ( A B C D ) = tr ( B C D A ) = tr ( C D A B ) = tr ( D A B C ) {\displaystyle {\begin{aligned}\operatorname {tr} (\mathbf {A} )&=\operatorname {tr} \left(\mathbf {A^{\top }} \right)\\\operatorname {tr} (\mathbf {ABCD} )&=\operatorname {tr} (\mathbf {BCDA} )=\operatorname {tr} (\mathbf {CDAB} )=\operatorname {tr} (\mathbf {DABC} )\end{aligned}}} 例えば、計算するには∂ tr ( A X B X ⊤ C ) ∂ X : {\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {AXBX^{\top }C} )}{\partial \mathbf {X} }}:} d tr ( A X B X ⊤ C ) = d tr ( C A X B X ⊤ ) = tr ( d ( C A X B X ⊤ ) ) = tr ( C A X d ( B X ⊤ ) + d ( C A X ) B X ⊤ ) = tr ( C A X d ( B X ⊤ ) ) + tr ( d ( C A X ) B X ⊤ ) = tr ( C A X B d ( X ⊤ ) ) + tr ( C A ( d X ) B X ⊤ ) = tr ( C A X B ( d X ) ⊤ ) + tr ( C A ( d X ) B X ⊤ ) = tr ( ( C A X B ( d X ) ⊤ ) ⊤ ) + tr ( C A ( d X ) B X ⊤ ) = tr ( ( d X ) B ⊤ X ⊤ A ⊤ C ⊤ ) + tr ( C A ( d X ) B X ⊤ ) = tr ( B ⊤ X ⊤ A ⊤ C ⊤ ( d X ) ) + tr ( B X ⊤ C A ( d X ) ) = tr ( ( B ⊤ X ⊤ A ⊤ C ⊤ + B X ⊤ C A ) d X ) = tr ( ( C A X B + A ⊤ C ⊤ X B ⊤ ) ⊤ d X ) {\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}
したがって、
∂ tr ( A X B X ⊤ C ) ∂ X = B ⊤ X ⊤ A ⊤ C ⊤ + B X ⊤ C A . {\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }CA} .} ∂ tr ( A X B X ⊤ C ) ∂ X = C A X B + A ⊤ C ⊤ X B ⊤ . {\displaystyle {\frac {\partial \operatorname {tr} \left(\mathbf {AXBX^{\top }C} \right)}{\partial \mathbf {X} }}=\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} .} (最後のステップについては、「微分形式から微分形式への変換」 セクションを参照してください。)
行列とスカラーの恒等式 恒等式: 行列とスカラー∂ Y ∂ x {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}}} 状態 表現 分子レイアウト、つまりY順 U = U ( x )∂ a U ∂ x = {\displaystyle {\frac {\partial a\mathbf {U} }{\partial x}}=} a ∂ U ∂ x {\displaystyle a{\frac {\partial \mathbf {U} }{\partial x}}} A Bは x の関数ではない、 U = U ( x )∂ A U B ∂ x = {\displaystyle {\frac {\partial \mathbf {AUB} }{\partial x}}=} A ∂ U ∂ x B {\displaystyle \mathbf {A} {\frac {\partial \mathbf {U} }{\partial x}}\mathbf {B} } U = U ( x ) V = V ( x )∂ ( U + V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} +\mathbf {V} )}{\partial x}}=} ∂ U ∂ x + ∂ V ∂ x {\displaystyle {\frac {\partial \mathbf {U} }{\partial x}}+{\frac {\partial \mathbf {V} }{\partial x}}} U = U ( x ) V = V ( x )∂ ( U V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \mathbf {V} )}{\partial x}}=} U ∂ V ∂ x + ∂ U ∂ x V {\displaystyle \mathbf {U} {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\mathbf {V} } U = U ( x ) V = V ( x )∂ ( U ⊗ V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \otimes \mathbf {V} )}{\partial x}}=} U ⊗ ∂ V ∂ x + ∂ U ∂ x ⊗ V {\displaystyle \mathbf {U} \otimes {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\otimes \mathbf {V} } U = U ( x ) V = V ( x )∂ ( U ∘ V ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {U} \circ \mathbf {V} )}{\partial x}}=} U ∘ ∂ V ∂ x + ∂ U ∂ x ∘ V {\displaystyle \mathbf {U} \circ {\frac {\partial \mathbf {V} }{\partial x}}+{\frac {\partial \mathbf {U} }{\partial x}}\circ \mathbf {V} } U = U ( x )∂ U − 1 ∂ x = {\displaystyle {\frac {\partial \mathbf {U} ^{-1}}{\partial x}}=} − U − 1 ∂ U ∂ x U − 1 {\displaystyle -\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\mathbf {U} ^{-1}} U = U ( x , y )∂ 2 U − 1 ∂ x ∂ y = {\displaystyle {\frac {\partial ^{2}\mathbf {U} ^{-1}}{\partial x\partial y}}=} U − 1 ( ∂ U ∂ x U − 1 ∂ U ∂ y − ∂ 2 U ∂ x ∂ y + ∂ U ∂ y U − 1 ∂ U ∂ x ) U − 1 {\displaystyle \mathbf {U} ^{-1}\left({\frac {\partial \mathbf {U} }{\partial x}}\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial y}}-{\frac {\partial ^{2}\mathbf {U} }{\partial x\partial y}}+{\frac {\partial \mathbf {U} }{\partial y}}\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)\mathbf {U} ^{-1}} Aは x g ( X ) eX 、 ( X ) 、 cos( X ) 、 ln( X ) など）であり、 g ( x ) g ′ ( x ) g ′ ( X )∂ g ( x A ) ∂ x = {\displaystyle {\frac {\partial \,\mathbf {g} (x\mathbf {A} )}{\partial x}}=} A g ′ ( x A ) = g ′ ( x A ) A {\displaystyle \mathbf {A} \mathbf {g} '(x\mathbf {A} )=\mathbf {g} '(x\mathbf {A} )\mathbf {A} } Aは x ∂ e x A ∂ x = {\displaystyle {\frac {\partial e^{x\mathbf {A} }}{\partial x}}=} A e x A = e x A A {\displaystyle \mathbf {A} e^{x\mathbf {A} }=e^{x\mathbf {A} }\mathbf {A} }
スカラーごとの恒等式
ベクトルが関与する 恒等式: スカラーごとに、ベクトルを含む 状態 表現 任意のレイアウト（ドット積は 行と列のレイアウトを無視すると想定） u = u ( x )∂ g ( u ) ∂ x = {\displaystyle {\frac {\partial g(\mathbf {u} )}{\partial x}}=} ∂ g ( u ) ∂ u ⋅ ∂ u ∂ x {\displaystyle {\frac {\partial g(\mathbf {u} )}{\partial \mathbf {u} }}\cdot {\frac {\partial \mathbf {u} }{\partial x}}} u = u ( x ) v = v ( x )∂ ( u ⋅ v ) ∂ x = {\displaystyle {\frac {\partial (\mathbf {u} \cdot \mathbf {v} )}{\partial x}}=} u ⋅ ∂ v ∂ x + ∂ u ∂ x ⋅ v {\displaystyle \mathbf {u} \cdot {\frac {\partial \mathbf {v} }{\partial x}}+{\frac {\partial \mathbf {u} }{\partial x}}\cdot \mathbf {v} }
行列が関係する 恒等式：スカラー対スカラー、行列を含む[ 3 ] 状態 表現 一貫した分子レイアウト、つまりY X T Y X U = U ( x )∂ | U | ∂ x = {\displaystyle {\frac {\partial |\mathbf {U} |}{\partial x}}=} | U | tr ( U − 1 ∂ U ∂ x ) {\displaystyle |\mathbf {U} |\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)} U = U ( x )∂ ln | U | ∂ x = {\displaystyle {\frac {\partial \ln |\mathbf {U} |}{\partial x}}=} tr ( U − 1 ∂ U ∂ x ) {\displaystyle \operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)} U = U ( x )∂ 2 | U | ∂ x 2 = {\displaystyle {\frac {\partial ^{2}|\mathbf {U} |}{\partial x^{2}}}=} | U | [ tr ( U − 1 ∂ 2 U ∂ x 2 ) + tr 2 ( U − 1 ∂ U ∂ x ) − tr ( ( U − 1 ∂ U ∂ x ) 2 ) ] {\displaystyle \left|\mathbf {U} \right|\left[\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial ^{2}\mathbf {U} }{\partial x^{2}}}\right)+\operatorname {tr} ^{2}\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)-\operatorname {tr} \left(\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)^{2}\right)\right]} U = U ( x )∂ g ( U ) ∂ x = {\displaystyle {\frac {\partial g(\mathbf {U} )}{\partial x}}=} tr ( ∂ g ( U ) ∂ U ∂ U ∂ x ) {\displaystyle \operatorname {tr} \left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}{\frac {\partial \mathbf {U} }{\partial x}}\right)} tr ( ( ∂ g ( U ) ∂ U ) ⊤ ∂ U ∂ x ) {\displaystyle \operatorname {tr} \left(\left({\frac {\partial g(\mathbf {U} )}{\partial \mathbf {U} }}\right)^{\top }{\frac {\partial \mathbf {U} }{\partial x}}\right)} Aは x g ( X ) e X sin( X ) 、 cos( X ) 、 ln( X ) など)。 g ( x ) g ′ ( x ) g ′ ( X )∂ tr ( g ( x A ) ) ∂ x = {\displaystyle {\frac {\partial \operatorname {tr} (\mathbf {g} (x\mathbf {A} ))}{\partial x}}=} tr ( A g ′ ( x A ) ) {\displaystyle \operatorname {tr} \left(\mathbf {A} \mathbf {g} '(x\mathbf {A} )\right)} Aは x ∂ tr ( e x A ) ∂ x = {\displaystyle {\frac {\partial \operatorname {tr} \left(e^{x\mathbf {A} }\right)}{\partial x}}=} tr ( A e x A ) {\displaystyle \operatorname {tr} \left(\mathbf {A} e^{x\mathbf {A} }\right)}
微分形式で計算し、その後通常の微分形式に戻す方が簡単な場合が多い。これは分子の配置を用いる場合にのみ有効である。これらの規則では、a
微分恒等式：行列を含むスカラー[ 1 ] [ 3 ] 表現 結果（分子レイアウト） d ( tr ( X ) ) = {\displaystyle d(\operatorname {tr} (\mathbf {X} ))=} tr ( d X ) {\displaystyle \operatorname {tr} (d\mathbf {X} )} d ( | X | ) = {\displaystyle d(|\mathbf {X} |)=} | X | tr ( X − 1 d X ) = tr ( adj ( X ) d X ) {\displaystyle |\mathbf {X} |\operatorname {tr} \left(\mathbf {X} ^{-1}d\mathbf {X} \right)=\operatorname {tr} (\operatorname {adj} (\mathbf {X} )d\mathbf {X} )} d ( ln | X | ) = {\displaystyle d(\ln |\mathbf {X} |)=} tr ( X − 1 d X ) {\displaystyle \operatorname {tr} \left(\mathbf {X} ^{-1}d\mathbf {X} \right)}
最後の行では、はクロネッカーのデルタ であり、はX k 番目の固有ベクトルに射影する直交射影演算子の集合です。Q は 固有ベクトル の行列であり、は固有値です。行列関数は、の対角化可能な行列のスカラー関数を用いて によって定義されます 。ただし 、となります。δ i j {\displaystyle \delta _{ij}} ( P k ) i j = ( Q ) i k ( Q − 1 ) k j {\displaystyle (\mathbf {P} _{k})_{ij}=(\mathbf {Q} )_{ik}(\mathbf {Q} ^{-1})_{kj}} X = Q Λ Q − 1 {\displaystyle \mathbf {X} =\mathbf {Q} {\boldsymbol {\Lambda }}\mathbf {Q} ^{-1}} ( Λ ) i i = λ i {\displaystyle ({\boldsymbol {\Lambda }})_{ii}=\lambda _{i}} f ( X ) {\displaystyle f(\mathbf {X} )} f ( x ) {\displaystyle f(x)} f ( X ) = ∑ i f ( λ i ) P i {\textstyle f(\mathbf {X} )=\sum _{i}f(\lambda _{i})\mathbf {P} _{i}} X = ∑ i λ i P i {\textstyle \mathbf {X} =\sum _{i}\lambda _{i}\mathbf {P} _{i}} P i P j = δ i j P i {\displaystyle \mathbf {P} _{i}\mathbf {P} _{j}=\delta _{ij}\mathbf {P} _{i}}
通常の微分形式に変換するには、まず次のいずれかの標準形式に変換してから、これらの恒等式を使用します。
微分形式から微分形式への変換[ 1 ] 標準微分形式 同値微分形式（分子配置） d y = a d x {\displaystyle dy=a\,dx} d y d x = a {\displaystyle {\frac {dy}{dx}}=a} d y = a ⊤ d x {\displaystyle dy=\mathbf {a} ^{\top }d\mathbf {x} } d y d x = a ⊤ {\displaystyle {\frac {dy}{d\mathbf {x} }}=\mathbf {a} ^{\top }} d y = tr ( A d X ) {\displaystyle dy=\operatorname {tr} (\mathbf {A} \,d\mathbf {X} )} d y d X = A {\displaystyle {\frac {dy}{d\mathbf {X} }}=\mathbf {A} } d y = a d x {\displaystyle d\mathbf {y} =\mathbf {a} \,dx} d y d x = a {\displaystyle {\frac {d\mathbf {y} }{dx}}=\mathbf {a} } d y = A d x {\displaystyle d\mathbf {y} =\mathbf {A} \,d\mathbf {x} } d y d x = A {\displaystyle {\frac {d\mathbf {y} }{d\mathbf {x} }}=\mathbf {A} } d Y = A d x {\displaystyle d\mathbf {Y} =\mathbf {A} \,dx} d Y d x = A {\displaystyle {\frac {d\mathbf {Y} }{dx}}=\mathbf {A} }
アプリケーション 行列微分積分は統計学や計量経済学において、特に多変量分布 、特に多変量正規分布 やその他の楕円分布 の統計解析に用いられている。[ 8 ] [ 9 ] [ 10 ]
これは回帰分析 において、例えば複数の説明変数 がある場合の通常の最小二乗回帰式を 計算するために使用されます。[ 11 ] [ 12 ] [ 13 ]
参照
注記 ^ a b c ここで、はサイズn のすべて 0 の列ベクトル を指します。ここでnは x 0 {\displaystyle \mathbf {0} } ^ a b ここで、はX 0 {\displaystyle \mathbf {0} } ^ 定数aは d ln a u d x = 1 a u d ( a u ) d x = 1 a u a d u d x = 1 u d u d x = d ln u d x . {\displaystyle {\frac {d\ln au}{dx}}={\frac {1}{au}}{\frac {d(au)}{dx}}={\frac {1}{au}}a{\frac {du}{dx}}={\frac {1}{u}}{\frac {du}{dx}}={\frac {d\ln u}{dx}}.} d ln a u d x = d ( ln a + ln u ) d x = d ln a d x + d ln u d x = d ln u d x . {\displaystyle {\frac {d\ln au}{dx}}={\frac {d(\ln a+\ln u)}{dx}}={\frac {d\ln a}{dx}}+{\frac {d\ln u}{dx}}={\frac {d\ln u}{dx}}.}
参考文献 ^ a b c d e Thomas P., Minka (2000年12月28日). 「統計に役立つ古くて新しい行列代数」 . MITメディアラボノート (1997年; 2000年12月改訂) . 2016年 2月5日 閲覧 。 ^ Felippa, Carlos A. 「付録D 線形代数：行列式、逆行列、順位」 （PDF） ASEN 5007：有限要素法入門 コロラド州ボルダー：コロラド大学 2016年 2月5日 閲覧 。 ベクトルおよび行列導関数のヘッセ行列 （ヤコビ行列 への転置 ）定義を使用します。^ a b c d e f g h i j k l m n o p q Petersen, Kaare Brandt; Pedersen, Michael Syskind. The Matrix Cookbook (PDF) . 2010年3月2日時点の オリジナルよりアーカイブ。 2016年 2月5日 閲覧 。 Y が ∂ Y ∂ x , {\displaystyle {\frac {\partial \mathbf {Y} }{\partial x}},} ∂ y ∂ X . {\displaystyle {\frac {\partial y}{\partial \mathbf {X} }}.} ^ Duchi, John C. 「トレース微分と行列微分の特性」 （PDF） . スタンフォード大学. 2016年 2月5日 閲覧 。 ^ 導出については 「行列式 § 微分」 を参照してください ^ Giles, Mike B. (2008). 「順方向および逆方向モードのアルゴリズム的微分化のための行列微分結果の収集」. Bischof, Christian H.; Bücker, H. Martin; Hovland, Paul; Naumann, Uwe; Utke, Jean (編). 自動微分化の進歩 . 計算科学と工学に関する講義ノート. 第64巻. ベルリン: Springer. pp. 35– 44. doi : 10.1007/978-3-540-68942-3_4 . ISBN 978-3-540-68935-5 MR 2531677 .^ S Adler (IAS) による 未発表メモ ^ Fang, Kai-Tai ; Zhang, Yao-Ting (1990). 一般化多変量解析 . Science Press (北京) および Springer-Verlag (ベルリン). ISBN 3-540-17651-9 ^ Pan, Jianxin; Fang, Kaitai (2007). 成長曲線モデルと統計診断 . 北京: Science Press. ISBN 978-0-387-95053-2 ^ コロ、トゥヌ;フォン・ローゼン、ディートリッヒ (2005)。 行列を使用した高度な多変量統計 。ドルドレヒト: スプリンガー。 ISBN 978-1-4020-3418-3 ^ マグナス、ヤン、ノイデッカー、ハインツ (2019). 『行列微分計算とその統計学および計量経済学への応用 』 ニューヨーク: ジョン・ワイリー. ISBN 978-1-119-54120-2 ^ Liu, Shuangzhe; Leiva, Victor; Zhuang, Dan; Ma, Tiefeng; Figueroa-Zúñiga, Jorge I. (2022). 「行列微分計算とその多変量線形モデルへの応用とその診断法」 . Journal of Multivariate Analysis . 188 104849. doi : 10.1016/j.jmva.2021.104849 . ^ 劉双哲;トレンクラー、ゲッツ。コロ、トゥヌ。フォン・ローゼン、ディートリッヒ。バクサラリー、オスカー・マリア（2023）。 「ハインツ・ノイデッカー教授と行列微分積分」。 統計論文 。 65 (4): 2605–2639 。 土井 : 10.1007/s00362-023-01499-w 。 S2CID 263661094 。
さらに読む
外部リンク
ソフトウェア
![{\displaystyle {\begin{aligned}d\operatorname {tr} (\mathbf {AXBX^{\top }C} )&=d\operatorname {tr} \left(\mathbf {CAXBX^{\top }} \right)=\operatorname {tr} \left(d\left(\mathbf {CAXBX^{\top }} \right)\right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d(\mathbf {BX^{\top }} \right)+d\left(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAX} d\left(\mathbf {BX^{\top }} \right)\right)+\operatorname {tr} \left(d(\mathbf {CAX} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} d\left(\mathbf {X^{\top }} \right)\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)+\operatorname {tr} (\mathbf {CA} \left(d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\left(\left(\mathbf {CAXB} (d\mathbf {X} )^{\top }\right)^{\top }\right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left((d\mathbf {X} )\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} \right)+\operatorname {tr} \left(\mathbf {CA} (d\mathbf {X} )\mathbf {BX^{\top }} \right)\\[1ex]&=\operatorname {tr} \left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} (d\mathbf {X} )\right)+\operatorname {tr} \left(\mathbf {BX^{\top }} \mathbf {CA} (d\mathbf {X} )\right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {B^{\top }X^{\top }A^{\top }C^{\top }} +\mathbf {BX^{\top }} \mathbf {CA} \right)d\mathbf {X} \right)\\[1ex]&=\operatorname {tr} \left(\left(\mathbf {CAXB} +\mathbf {A^{\top }C^{\top }XB^{\top }} \right)^{\top }d\mathbf {X} \right)\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3ca1c0807b52b0c32354803abbd029430fdf8813)
![{\displaystyle \left|\mathbf {U} \right|\left[\operatorname {tr} \left(\mathbf {U} ^{-1}{\frac {\partial ^{2}\mathbf {U} }{\partial x^{2}}}\right)+\operatorname {tr} ^{2}\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)-\operatorname {tr} \left(\left(\mathbf {U} ^{-1}{\frac {\partial \mathbf {U} }{\partial x}}\right)^{2}\right)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/a16c46255b081a2f4f645e0cbac5b913a1537a33)
