ホモグラフィ（コンピュータービジョン）

ホモグラフィのための幾何学的配置：ステレオカメラO ₁とO _{2はともに}エピポーラ幾何学においてXを向いている。ヘルマン・グイド・ハウク（1845年 - 1905年）著『Neue Konstruktionen der Perspektive und Photogrammetrie』より。

コンピュータビジョンの分野では、空間内の同一平面上の任意の2枚の画像は、ホモグラフィ（ピンホールカメラモデルを想定）によって関連付けられます。これは、画像の平行化、画像の位置合わせ、あるいは2枚の画像間のカメラモーション（回転と並進）など、多くの実用的な用途に応用されています。推定されたホモグラフィ行列からカメラの再切除が行われると、この情報はナビゲーションに使用したり、3Dオブジェクトのモデルを画像や動画に挿入して正しい視点でレンダリングし、元のシーンの一部であるかのように見せるために使用できます（拡張現実（AR ）を参照）。

3D平面対平面方程式

2台のカメラaとbがあり、それぞれ平面上の点を撮影しています。カメラbの投影からカメラaの投影へ移ると、次のようになります。 ${\displaystyle P_{i}}$ ${\displaystyle {}^{b}p_{i}=\left({}^{b}u_{i};{}^{b}v_{i};1\right)}$ ${\displaystyle P_{i}}$ ${\displaystyle {}^{a}p_{i}=\left({}^{a}u_{i};{}^{a}v_{i};1\right)}$ ${\displaystyle P_{i}}$

${\displaystyle {}^{a}p_{i}={\frac {{}^{b}z_{i}}{{}^{a}z_{i}}}K_{a}\cdot H_{ab}\cdot K_{b}^{-1}\cdot {}^{b}p_{i}}$

ここで、およびは各カメラフレームにおけるPのZ座標であり、ホモグラフィー行列は次のように与えられる。 ${\displaystyle {}^{a}z_{i}}$ ${\displaystyle {}^{b}z_{i}}$ ${\displaystyle H_{ab}}$

${\displaystyle H_{ab}=R-{\frac {tn^{T}}{d}}}$ 。

${\displaystyle R}$ はbをaに対して回転させる回転行列です。tはaからbへの並進ベクトルです。nとd はそれぞれ平面の法線ベクトルと原点から平面までの距離です。K a_とK _bはカメラの固有パラメータ行列です。

図は、カメラb が距離dにある平面を向いている様子を示しています。注: 上の図では、平面モデルとして、は に沿ったベクトルの投影であり、 に等しいと仮定しています。つまり です。また、 が成り立ちます。 ${\displaystyle n^{T}P_{i}+d=0}$ ${\displaystyle n^{T}P_{i}}$ ${\displaystyle P_{i}}$ ${\displaystyle n}$ ${\displaystyle -d}$ ${\displaystyle t=t\cdot 1=t\left(-{\frac {n^{T}P_{i}}{d}}\right)}$ ${\displaystyle H_{ab}P_{i}=RP_{i}+t}$ ${\displaystyle H_{ab}=R-{\frac {tn^{T}}{d}}}$

この式は、カメラb が回転も並進も行わない場合にのみ有効です。一般的なケースでは、 とはそれぞれカメラaとbの回転と並進であり、ホモグラフィ行列は次のようになります 。${\displaystyle R_{a},R_{b}}$ ${\displaystyle t_{a},t_{b}}$ ${\displaystyle R=R_{a}R_{b}^{T}}$ ${\displaystyle H_{ab}}$

${\displaystyle H_{ab}=R_{a}R_{b}^{T}-{\frac {(-R_{a}*R_{b}^{T}*t_{b}+t_{a})n^{T}}{d}}}$

ここで、 dはカメラbから平面まで の距離です。

アフィンホモグラフィー

ホモグラフィを計算する画像領域が小さい場合、または画像が大きな焦点距離で取得された場合、アフィンホモグラフィは画像変位のより適切なモデルとなります。アフィンホモグラフィは、最終行が固定された一般的なホモグラフィの特殊な型です。

${\displaystyle h_{31}=h_{32}=0,\;h_{33}=1.}$

参照

• 直接線形変換
• エピポーラ幾何学
• 特徴（コンピュータービジョン）
• 基礎行列（コンピュータビジョン）
• ポーズ（コンピュータービジョン）
• 写真測量

参考文献

• O. Chum、T. Pajdla、P. Sturm (2005). 「ホモグラフィにおける幾何学的誤差」(PDF) .コンピュータビジョンと画像理解. 97 (1): 86– 102. doi : 10.1016/j.cviu.2004.03.004 .

ツールボックス

• homest は、マッチしたポイントペア (Manolis Lourakis) からの堅牢な非線形 ( Levenberg–Marquardt アルゴリズムに基づく) ホモグラフィ推定を行うGPL C / C++ライブラリです。
• OpenCV は、ホモグラフィ推定 ( cvFindHomography ) と再投影 ( cvPerspectiveTransform )に関連する多くのルーチンを備えた完全な (オープンで無料の) コンピューター ビジョン ソフトウェア ライブラリです。

外部リンク

• Serge Belongie および David Kriegman (2007) 「ホモグラフィ推定の説明」 、カリフォルニア大学サンディエゴ校コンピュータサイエンスおよびエンジニアリング学部。
• A. Criminisi、I. Reid、A. Zisserman (1997) 「平面測定装置」 、§3 平面間のホモグラフィの計算、オックスフォード大学工学部ビジュアル幾何学グループより。
• Elan Dubrofsky (2009) 「ホモグラフィ推定」、ブリティッシュコロンビア大学コンピュータサイエンス学部修士論文。
• Richard Hartley & Andrew Zisserman (2004) 『Multiple View Geometry』（オックスフォード大学Visual Geometry Group刊）ホモグラフィと基礎行列（コンピュータビジョン）を計算するためのMatlab関数が含まれています。
• YouTubeのBilly Kerrによる「GIMPチュートリアル - パースペクティブツールの使い方」 。GIMPを使ってパースペクティブ変換を行う方法を説明します。
• Allan Jepson (2010)トロント大学コンピュータサイエンス学部の「Planar Homographys」。4組の対応点からの2Dホモグラフィ、画像処理におけるモザイク、コンピュータビジョンにおける遠近法の歪みの除去、コンピュータグラフィックスにおけるテクスチャのレンダリング、平面影の計算などが含まれています。
• 平面転送ホモグラフィー シアトルのワシントン大学でのCSE576 のコースノート。
• Etienne Vincent & Robert Laganiere (2000) 「画像ペアにおける平面ホモグラフィの検出」オタワ大学情報技術工学部より、 2016年3月4日にWayback Machineにアーカイブ。画像内の平面を検出するアルゴリズムについて説明し、ランダムサンプルコンセンサス（RANSAC）法を用いて、ヒューリスティックスと反復処理について解説しています。