トマシ・カナデ因数分解

トマシ・カナデ分解は、 1990年代初頭にカルロ・トマシとタケオ・カナデによって発表された画期的な研究である。 ^{[ 1 ]}この研究は、弱透視カメラモデルを用いて異なる視点から撮影された剛体の画像計測値を解析するための、特異値分解（SVD）ベースの分解スキーム に基づく簡潔で洗練されたソリューションを示した。著者らが行った重要な観察は、すべての計測値（すなわち、すべての視点におけるすべての点の画像座標）が単一の行列に集められた場合、点の軌跡は特定の部分空間に存在するという点であった。画像データが存在する部分空間の次元は、以下の2つの要因によって決定される。

1. シーンを投影するカメラの種類（アフィン投影や透視投影など）
2. 検査対象物体の性質（たとえば、剛性か非剛性か）。

部分空間の低次元性は、測定行列の低次元化として自明に反映（捕捉）されます。この測定行列の低次元化は、各点の運動が正確な幾何学モデルによって大域的に記述されるため、物体点の像平面への投影位置が制約されるという事実に由来します。

方法

で導入された剛体分解は、画像上の顕著な特徴から抽出された特徴点の集合を用いて、剛体の3次元構造を記述する。時系列を構成する全ての画像においてこれらの特徴点を追跡することで、軌跡の集合が得られる。これらの軌跡は、各フレームにおいて、形状が受ける剛体変換によって全体的に制約される。つまり、全ての点の軌跡は類似したプロファイルを持つ。

フレームi内の点jの位置をp _ij = ( x _ij , y _ij ) ^Tと定義します。ここで、x _ijとy _ijはそれぞれ画像の水平座標と垂直座標です。

画像測定の簡潔な表現は、すべての非同次座標を観測行列Pと呼ばれる 単一の行列に集めることによって表現することができ、

${\displaystyle \mathbf {P} =\left({\begin{array}{ccc}x_{11}&\cdots &x_{1N}\\\vdots &\ddots &\vdots \\x_{F1}&\cdots &x_{FN}\\y_{11}&\cdots &y_{1N}\\\vdots &\ddots &\vdots \\y_{F1}&\cdots &y_{FN}\\\end{array}}\right)}$

Pは2 F × N行列です。ここで、Fはフレーム数、Nは特徴点の数です。理想的には、観測行列は追跡対象物体に関する完全な情報を含むべきです。しかし残念ながら、実際には、最先端の追跡装置のほとんどは、非構造化環境に設置された場合、不完全（オクルージョンのため）かつ不正確（センサーノイズのため）な点追跡しか提供できません。

前述のように、因数分解アプローチの根底にある前提は、測定行列Pがランク制限されていることです。さらに、 Pを2つの部分行列、すなわち動き行列Mと形状行列Sに因数分解することが可能です。これらの行列はそれぞれ 2F × rとN × rのサイズを持ちます。

${\displaystyle \mathbf {P} =\mathbf {M} \mathbf {S} ^{T}.\,}$

Sの大きさと構造は一般に形状特性（例えば剛体か非剛体か）に依存し、Mは想定するカメラモデルの種類と形状特性の両方に依存する。因数分解法の本質は、以下の式を計算することである。

フロベニウスノルムに関するPの最適なrランク近似は、SVD ベースのスキームを使用して見つけることができます。

参考文献

1. Carlo TomasiとTakeo Kanade. (1992年11月). 「正書法を用いた画像ストリームからの形状と動き：因子分解法」. International Journal of Computer Vision . 9 (2): 137– 154. CiteSeerX  10.1.1.131.9807 . doi : 10.1007/BF00129684 . S2CID  2931825 .

参照

• 動きからの構造