スケール空間セグメンテーション

スケール空間
スケール空間公理
スケールスペース実装
特徴検出
エッジ検出
ブロブ検出
コーナー検出
尾根検出
関心点検出
スケールの選択
アフィン形状適応
スケール空間セグメンテーション
スケール空間セグメンテーションの1次元例。信号(黒)、そのマルチスケール平滑化バージョン(赤)、およびスケール空間セグメンテーションに基づくセグメント平均(青)
上図のセグメンテーションに対応する樹状図。各「×」は、信号の15段階の平滑化バージョン(赤は最大値、青は最小値)の1次微分における極値の位置を示しています。各「+」は、極値が最小スケールで追跡される位置を示しています。最大スケール(最も平滑化されたバージョン)まで持続する信号特性は、上図の主要なセグメント境界に対応する高い構造として明確に示されています。

スケール空間セグメンテーションまたはマルチスケールセグメンテーションは、複数のスケールの平滑化での画像記述子の計算に基づいた、信号および画像セグメンテーションの一般的なフレームワークです。

1次元階層信号セグメンテーション

ウィトキンのスケール空間における先駆的な研究[ 1 ]には、1次元信号を1つのスケールパラメータで分割のスケールを制御しながら、明確に領域に分割できるという概念が含まれていました。

重要な観察結果は、信号のマルチスケール平滑化バージョンにおける2次導関数(1次導関数または傾きの最小値と最大値)のゼロ交差がネストツリーを形成し、異なるスケールにおけるセグメント間の階層関係を定義することです。具体的には、粗いスケールにおける傾きの極値は、細かいスケールにおける対応する特徴まで遡ることができます。より大きなスケールにおいて、傾きの最大値と最小値が互いに相殺する場合、それらが分離していた3つのセグメントは1つのセグメントに統合され、セグメントの階層が定義されます。

画像セグメンテーションと原始スケッチ

この分野では数多くの研究が行われており、そのうちのいくつかは、インタラクティブな手動介入(通常は医用画像への応用)または完全に自動化された状態で適用できる段階に達しています。以下は、現在のアプローチの基盤となっている主要な研究アイデアの概要です。

しかしながら、Witkinが説明したネスティング構造は1次元信号に特有のものであり、高次元画像には容易に適用できない。それでもなお、この一般的な考え方は、他の多くの研究者に画像​​セグメンテーションのための粗いものから細かいものへの手法を研究するきっかけを与えた。Koenderink [ 2 ]は、等強度輪郭がスケールに応じてどのように変化するかを研究することを提案し、このアプローチはLifshitzとPizerによってより詳細に研究された[ 3 ] 。しかしながら、残念ながら、画像特徴の強度はスケールに応じて変化するため、等強度情報を用いて粗いスケールの画像特徴をより細かいスケールに追跡することは困難である。

Lindeberg [ 4 ]は、スケール上の局所的極値と鞍点を結びつける問題を研究し、スケール空間プライマルスケッチと呼ばれる画像表現を提案した。これは、異なるスケールにおける構造間の関係を明示的に示し、また、局所的に適切なスケールを含む広いスケール範囲にわたってどの画像特徴が安定しているかを明示的に示す。Bergholm [ 5 ]は、スケール空間において粗いスケールでエッジを検出し、その後、粗い検出スケールと細かい局所化スケールの両方を手動で選択して、エッジをより細かいスケールまでトレースすることを提案した。

GauchとPizer [ 6 ]は、複数のスケールでの尾根と谷の相補的問題を研究し、マルチスケール流域に基づいて対話型の画像セグメンテーション用のツールを開発した。マルチスケール流域の勾配マップへの応用は、OlsenとNielsen [ 7 ]によっても研究され、Damら[ 8 ]によって臨床使用に引き継がれた。Vinckenら[ 9 ]は、異なるスケールでの画像構造間の確率的関係を定義するためのハイパースタックを提案した。スケールを超えた安定した画像構造の使用は、Ahujaと彼の同僚[ 10 ] [ 11 ]によって完全に自動化されたシステムにまで発展した。マルチスケール流域の密接に関連したアイデアに基づく完全に自動化された脳セグメンテーションアルゴリズムは、UndemanとLindeberg [ 12 ]によって発表され、脳データベースで広範にテストされている。

スケールを超えて画像構造をリンクさせることによるマルチスケール画像セグメンテーションのアイデアは、FlorackとKuijper [ 13 ]によっても取り上げられています。BijaouiとRué [ 14 ]は、最小ノイズ閾値を超えるスケール空間で検出された構造を、複数のスケールにまたがり、元の信号におけるある種の特徴に対応するオブジェクトツリーに関連付けます。抽出された特徴は、反復共役勾配行列法を用いて正確に再構成されます。

時間のベクトル関数の分割

スケールスペースセグメンテーションは、Lyon [ 15 ]によって別の方向に拡張され、ベクトル値を持つ時間関数へと拡張されました。この関数では、ベクトル微分は最大値と最小値を持たず、2次微分はゼロ交差を持ちません。この拡張では、セグメント境界を平滑化されたベクトル信号のベクトル微分のユークリッド振幅の最大値に置くことで実現されます。この手法は、音声とテキストのセグメンテーションに応用されています。[ 16 ]

参考文献

  1. ^ Witkin, A. (1984). 「スケール空間フィルタリング:マルチスケール記述への新たなアプローチ」(PDF) . ICASSP '84. IEEE International Conference on Acoustics, Speech, and Signal Processing . 第9巻. pp.  150– 153. doi : 10.1109/ICASSP.1984.1172729 . S2CID  11755124. 2019年8月1日時点のオリジナル(PDF)からアーカイブ。 2019年8月1日閲覧
  2. ^ Koenderink, Jan「画像の構造」Wayback Machineで2017年8月8日にアーカイブ」Biological Cyber​​netics, 50:363--370, 1984
  3. ^ Lifshitz, LM; Pizer, SM (1990). 「強度極値に基づく画像セグメンテーションへの多重解像度階層的アプローチ」 IEEE Transactions on Pattern Analysis and Machine Intelligence . 12 (6): 529– 540. doi : 10.1109/34.56189 .
  4. ^ Lindeberg, Tony (1993). 「スケール空間プライマルスケッチを用いた顕著なブロブ状画像構造とそのスケールの検出:注目点のフォーカスのための手法」 . International Journal of Computer Vision . 11 (3): 283– 318. doi : 10.1007/BF01469346 . S2CID 11998035 . 
  5. ^ Bergholm, F. (1987). 「エッジフォーカス」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 9 ( 6): 726– 741. doi : 10.1109/tpami.1987.4767980 . PMID 21869435. S2CID 18352198 .  
  6. ^ Gauch, JM; Pizer, SM (1993). 「グレースケール画像における隆起部と谷部の多重解像度解析」 IEEE Transactions on Pattern Analysis and Machine Intelligence . 15 (6): 635– 646. doi : 10.1109/34.216734 .
  7. ^ Olsen, Ole Fogh; Nielsen, Mads (1997). 「マルチスケール勾配振幅ウォーターシェッドセグメンテーション」(PDF) .画像解析と処理. コンピュータサイエンス講義ノート. 第1310巻. pp.  6– 13. doi : 10.1007/3-540-63507-6_178 . ISBN 978-3-540-63507-9
  8. ^ Dam, E., Johansen, P., Olsen, O. Thomsen,, A. Darvann, T., Dobrzenieck, A., Hermann, N., Kitai, N., Kreiborg, S., Larsen, P., Nielsen, M.:「臨床使用におけるインタラクティブなマルチスケールセグメンテーション」、European Congress of Radiology 2000。
  9. ^ Vincken, KL; Koster, ASE; Viergever, MA (1997). 「確率的マルチスケール画像セグメンテーション」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 19 (2): 109– 120. doi : 10.1109/34.574787 .
  10. ^ Tabb, M.; Ahuja, N. (1997). 「統合エッジ・領域検出によるマルチスケール画像セグメンテーション」. IEEE Transactions on Image Processing . 6 (5): 642– 655. Bibcode : 1997ITIP....6..642T . doi : 10.1109/83.568922 . PMID 18282958 . 
  11. ^ Akbas, Emre; Ahuja, Narendra (2010). 「ランプ不連続性からセグメンテーションツリーへ」 .コンピュータビジョン – ACCV 2009 . コンピュータサイエンス講義ノート. 第5994巻. pp.  123– 134. doi : 10.1007/978-3-642-12307-8_12 . ISBN 978-3-642-12306-1
  12. ^ Undeman, Carl; Lindeberg, Tony (2003). 「確率的異方性拡散とマルチスケール・ウォーターシェッドを用いたMRI脳画像の完全自動セグメンテーション」.スケールスペース法によるコンピュータビジョン. コンピュータサイエンス講義ノート. 第2695巻. pp.  641– 656. doi : 10.1007/3-540-44935-3_45 . ISBN 978-3-540-40368-5
  13. ^ Florack, LMJ; Kuijper, A. (2000). 「スケール空間画像の位相構造」(PDF) . Journal of Mathematical Imaging and Vision . 12 (1): 65– 79. doi : 10.1023/A:1008304909717 . hdl : 1874/18929 . S2CID 7515494 . 
  14. ^アルバート・ビジャウイ;ルー、フレデリック (1995)。「天体画像に適応したマルチスケール視覚モデル」信号処理46 (3): 345–362土井: 10.1016/0165-1684(95)00093-4
  15. ^ Richard F. Lyon. 「スケール空間における音声認識」, Proc. of 1987 ICASSP. サンディエゴ, 3月, pp. 29.3.14, 1987年.
  16. ^ 「Slaney, M. Ponceleon, D., 「Hierarchical segmentation using latent semantic indexing in scalespace」、Proc. Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP '01) 2001」(PDF) 。 2006年9月19日時点のオリジナル(PDF)からアーカイブ。 2006年11月1日閲覧

参照