コンピュータサイエンスにおいて、ランドマーク検出とは、画像内の重要なランドマークを見つけるプロセスです。これは元々 、ロボットビジョンや衛星画像からの地図作成など、ナビゲーション目的でランドマークを見つけることを指していました。ナビゲーションに使用される手法は他の分野にも拡張され、特に顔認識では顔の重要なポイントを識別するために使用されています。また、医療分野でも重要な応用があり、医用画像における解剖学的ランドマークの識別に利用されています。
アプリケーション
ナビゲーション
顔の特徴
顔の特徴を見つけることは、画像内の人物の顔識別において重要なステップです。顔の特徴は、人物の気分や意図に関する情報を抽出するためにも使用できます。[1]使用される手法は、全体論的手法、制約付き局所モデル手法、回帰ベースの手法 の3つのカテゴリに分類されます。 [2]
全体論的手法は、顔の形状とランドマークの位置係数に関する統計情報があらかじめプログラムされています。 典型的な全体論的手法は、 1998 年に導入されたアクティブ アピアランス モデル(AAM)です。 [3] それ以来、この手法には多くの拡張と改良が行われてきました。 これらは主にフィッティング アルゴリズムに対する改良で、解析的フィッティング手法と学習ベース フィッティング手法の 2 つのグループに分類できます。[4] 解析的手法では、ガウス–ニュートン アルゴリズムなどの非線形最適化手法が適用されます。 このアルゴリズムは非常に遅いですが、投影逆合成 (POIC) アルゴリズムや同時逆合成 (SIC) アルゴリズムなど、より優れたアルゴリズムが提案されています。[5] 学習ベース フィッティング手法では、機械学習技術を使用して顔の係数を予測します。 これらには、線形回帰、非線形回帰などのフィッティング手法を使用できます。[6] 一般に、解析的フィッティング手法の方が精度が高く、トレーニングの必要がありませんが、学習ベース フィッティング手法は高速ですが、トレーニングが必要です。[7] 基本的なAAM法の他の拡張では、画像内のピクセル強度ではなくウェーブレットを解析します。これは、基本的なAAMでは困難な、顔の見えない部分のフィッティングに役立ちます。[8]
医療画像
頭部X線測定
ファッション
ファッション画像におけるランドマーク検出の目的は、分類です。これは、データベースや一般的な検索から特定の特徴を持つ画像を検索するのに役立ちます。ファッションランドマークの例としては、ドレスの裾の位置が挙げられます。ファッションランドマークの検出は、衣服に生じる極端な変形のために特に困難です。[9]
スケール不変特徴変換などの古典的な特徴検出手法は、過去にも用いられてきました。しかし、現在ではディープラーニング手法を用いることがより一般的になっています。これは、学習に使用できる大規模なファッションデータセットが多数公開されたことに大きく貢献しています。[10] これらの手法には、回帰ベースモデル、制約ベースモデル、アテンティブモデルなどが含まれます。[11] ファッションランドマーク検出（変形）特有の問題から、衣服を着用したモデルのポーズを検出し、考慮するポーズ推定モデルが生まれました。[12]
方法
画像内のランドマークを特定するためのアルゴリズムはいくつかあります。現在、このタスクは通常、人工ニューラルネットワーク、特にディープラーニングアルゴリズムを用いて解決されますが、粒子群最適化などの進化的アルゴリズムもこのタスクの実行に役立ちます
ディープラーニング
ディープラーニングは、現実世界の写真におけるランドマークのより正確で効率的な検出を可能にすることで、自動顔ランドマーク検出に大きな影響を与えてきました。[13]従来のコンピュータービジョン技術では、照明、頭の位置、遮蔽の変動により顔ランドマークの検出が困難になることがありましたが、畳み込みニューラルネットワーク（CNN）は、コンピューターが大規模な画像データセットから特徴を学習できるようにすることで、ランドマーク検出に革命をもたらしました。ラベル付けされた顔ランドマークを含む画像のデータセットでCNNをトレーニングすることで、アルゴリズムは、異なる照明条件、異なる角度、または部分的に遮蔽されたビューで表示される場合でも、新しい画像でこれらのランドマークを高精度で検出することを学習できます
特に、このアプローチに基づくソリューションは、モバイルデバイスのGPU上でリアルタイム効率を実現し、拡張現実アプリケーション内で使用されています。[14]
進化アルゴリズム
学習段階における進化アルゴリズムは、ランドマークを正しく決定する方法を学習しようとします。この段階は反復的なプロセスであり、複数の反復で実行されます。最後の反復が完了すると、一定の精度でランドマークを正しく決定できるシステムが得られます。粒子群最適化法では、ランドマークを探索する粒子が存在し、各粒子は各反復において特定の式を用いてランドマーク検出を最適化します。[15]
参考文献
- ^ Wu & Ji、115ページ
- ^ Wu & Ji、116ページ。
- ^ Wu & Ji、116ページ。
- ^ Wu & Ji、117ページ。
- ^ Wu & Ji、118ページ。
- ^ Wu & Ji、118ページ。
- ^ Wu & Ji、119ページ。
- ^ Wu & Ji、119ページ。
- ^ 張、張、杜、1ページ。
- ^ 張、張、杜、1ページ。
- ^ Zhang、Zhang、Du、1–4 ページ。
- ^ 張、張、杜、2ページ。
- ^ ウー＆ジー
- ^ ユーリー・カルティニク;アブラヴァツキー、アルシオム。グリシチェンコ、イワン。グルンドマン、マティアス (2019)。 「モバイル GPU 上の単眼ビデオからのリアルタイム顔面ジオメトリ」。arXiv : 1907.06724 [cs.CV]。
- ^ WIJESINGHE, GAYAN (2005).粒子群最適化を用いたセファロメトリックX線におけるランドマーク検出（論文）. RMIT大学. CiteSeerX 10.1.1.72.3218 .
参考文献
- Schwendicke, Falk; Chaurasia, Akhilanand; Arsiwala, Lubaina; Lee, Jae-Hong; Elhennawy, Karim; Jost-Brinkmann, Paul-Georg; Demarco, Flavio; Krois, Joachim (2021). 「セファロメトリックランドマーク検出のためのディープラーニング：システマティックレビューとメタアナリシス」. Clinical Oral Investigations . 25 (7): 4299– 4309. doi :10.1007/s00784-021-03990-w . PMC 8310492. PMID 34046742. S2CID 235232149
- Wu, Yue; Ji, Qiang (2019). 「顔のランドマーク検出：文献調査」. International Journal of Computer Vision . 127 (2): 115– 142. arXiv : 1805.05563 . doi :10.1007/s11263-018-1097-z. S2CID 255101562.
- Zhang, Yungang; Zhang, Cai; Du, Fei (2019). 「ファッションランドマーク検出における最近の進歩に関する簡潔なレビュー」. 2019 第12回国際画像信号処理、生物医学工学、情報科学会議 (CISP-BMEI) . pp. 1– 6. doi :10.1109/CISP-BMEI48845.2019.8966051. ISBN 978-1-7281-4852-6 S2CID 210931275
