画像セグメンテーション

ヒトの左大腿骨の分節モデル。外表面（赤）、緻密骨と海綿骨の間の表面（緑）、骨髄の表面（青）を示しています。

デジタル画像処理とコンピュータビジョンにおいて、画像セグメンテーションとは、デジタル画像を複数の画像セグメント（画像領域または画像オブジェクト（ピクセルの集合）とも呼ばれる）に分割するプロセスです。セグメンテーションの目的は、画像の表現をより意味のある、分析しやすいものに簡素化または変更することです。[ 1 ] [ 2 ]画像セグメンテーションは通常、画像内のオブジェクトや境界（線、曲線など）の位置を特定するために使用されます。より正確には、画像セグメンテーションとは、画像内のすべてのピクセルにラベルを割り当て、同じラベルを持つピクセルが特定の特性を共有するようにするプロセスです。

画像セグメンテーションの結果は、画像全体を包括するセグメントの集合、または画像から抽出された輪郭の集合（エッジ検出を参照）である。領域内の各ピクセルは、色、強度、テクスチャなど、何らかの特性または計算されたプロパティに関して類似している[ 3 ]。隣接する領域は、同じ特性に関して大きく異なる[ 1 ] 。医療用画像処理で典型的な画像のスタックに適用すると、画像セグメンテーション後の輪郭は、マーチングキューブなどのジオメトリ再構成アルゴリズムの助けを借りて3D再構成を作成するために使用できる[ 4 ]。

アプリケーション

胸部の3DレンダリングCTスキャンのボリュームセグメンテーション：胸郭の内容物を視覚化するために、前胸壁、気道、肺根部の前方の肺血管がデジタル的に除去されています。–青：肺動脈–赤：肺静脈（および腹壁）–黄色：縦隔–紫：横隔膜

画像セグメンテーションの実際的な応用例は次のとおりです。

画像セグメンテーションには、いくつかの汎用アルゴリズムと手法が開発されています。これらの手法を有用に活用するには、通常、その分野のセグメンテーション問題を効果的に解決するために、その分野特有の知識と組み合わせる必要があります。

セグメンテーション技術のクラス

セグメンテーション手法には 2 つのクラスがあります。

  • 古典的なコンピュータービジョンのアプローチ
  • AIベースの技術

画像セグメンテーションのグループ

  • セマンティックセグメンテーションは、すべてのピクセルが属するクラスを検出するアプローチです。[ 25 ]例えば、たくさんの人が描かれた図では、人物に属するすべてのピクセルは同じクラスIDを持ち、背景のピクセルは背景として分類されます。[ 26 ]
  • インスタンスセグメンテーションは、各ピクセルについて、そのオブジェクトが属する特定のインスタンスを識別する手法です。画像内の個々の関心対象オブジェクトを検出します。[ 27 ]例えば、人物を個々のオブジェクトとしてセグメンテーションする場合などです。
  • パノプティックセグメンテーションは、セマンティックセグメンテーションとインスタンスセグメンテーションの両方を組み合わせたものです。セマンティックセグメンテーションと同様に、パノプティックセグメンテーションは、すべてのピクセルが属するクラスを識別するアプローチです。さらに、インスタンスセグメンテーションと同様に、パノプティックセグメンテーションは同じクラスの異なるインスタンスを区別します。[ 28 ]

閾値設定

画像セグメンテーションの最も単純な方法は、閾値法と呼ばれます。この方法は、クリップレベル（または閾値）に基づいて、グレースケール画像を2値画像に変換します。

この手法の鍵は、閾値（複数レベルを選択した場合は複数の閾値）を選択することです。業界では、最大エントロピー法、バランストヒストグラム閾値法、大津法（最大分散法）、k-means法など、いくつかの一般的な手法が用いられています。

最近、コンピュータ断層撮影（CT）画像の閾値設定法が開発されました。その鍵となる考え方は、大津法とは異なり、閾値を（再構成された）画像ではなく、レントゲン写真から導出するという点です。[ 29 ] [ 30 ]

新しい手法では、多次元のファジールールに基づく非線形閾値の使用が提案されています。これらのアプローチでは、各ピクセルがセグメントに属するかどうかの決定は、画像の照明、環境、アプリケーションなどの要因を考慮した、ファジー論理と進化的アルゴリズムから導き出された多次元ルールに基づいています。[ 31 ]

クラスタリング手法

オリジナル画像
ソース画像
処理済み画像
k = 16でk -means を実行した後の画像。大きな画像のパフォーマンスを向上させる一般的な手法として、画像をダウンサンプリングし、クラスターを計算した後、必要に応じて値を大きな画像に再割り当てすることが挙げられます。

K平均法は、画像をK個のクラスターに分割するために使用される反復手法です。[ 32 ]基本的なアルゴリズムは

  1. K個のクラスター中心をランダムに、またはK平均法などのヒューリスティックな方法に基づいて選択します。
  2. 画像内の各ピクセルを、ピクセルとクラスター中心間の距離が最小となるクラスターに割り当てる
  3. クラスター内のすべてのピクセルを平均化してクラスターの中心を再計算する
  4. 収束が達成されるまで（つまり、ピクセルのクラスターが変化しなくなるまで）手順2と3を繰り返します。

この場合、距離はピクセルとクラスター中心の差の二乗または絶対値です。この差は通常、ピクセルの色、輝度、テクスチャ、位置、またはこれらの要素の重み付けされた組み合わせに基づきます。Kは手動で選択することも、ランダムに選択することも、ヒューリスティックに選択することもできます。このアルゴリズムは収束が保証されていますが、最適な解を返さない可能性があります。解の質は、初期のクラスターセットとKの値に依存します。

平均シフトアルゴリズムは、画像を事前に未知の数のクラスターに分割するために使用される手法です。このアルゴリズムの利点は、そのようなパラメータの初期推定値から始める必要がないため、より多様なケースに対してより一般的な解法として使用できます。

モーションとインタラクティブなセグメンテーション

モーション ベースのセグメンテーションは、画像内の動きを利用してセグメンテーションを実行する手法です。

アイデアはシンプルです。2枚の画像の違いに注目するのです。注目する物体が動いていると仮定すると、その違いはまさにその物体そのものになります。

このアイデアを改良し、ケニーらはインタラクティブセグメンテーション[2]を提案した。彼らはロボットを用いて物体を突くことで、動きに基づくセグメンテーションに必要な動き信号を生成する。

インタラクティブセグメンテーションは、Dov Katz [3]とOliver Brock [4]によって提案されたインタラクティブ知覚フレームワークに従います。

動きに基づいたもう 1 つの手法は、剛体動きセグメンテーションです。

圧縮ベースの方法

圧縮ベースの手法では、最適なセグメンテーションとは、あらゆる可能なセグメンテーションにおいてデータの符号化長を最小化するセグメンテーションであると仮定されている。[ 33 ] [ 34 ]これら2つの概念の関連性は、セグメンテーションは画像内のパターンを見つけようとするものであり、画像内の規則性は圧縮に利用できるという点にある。この手法では、各セグメントをそのテクスチャと境界形状で記述する。これらの各要素は確率分布関数によってモデル化され、符号化長は以下のように計算される。

  1. 境界符号化は、自然画像内の領域が滑らかな輪郭を持つ傾向があるという事実を利用しています。この事前確率は、ハフマン符号化において画像内の輪郭の差分チェーンコードを符号化する際に用いられます。したがって、境界が滑らかであればあるほど、符号化長は短くなります。
  2. テクスチャは、最小記述長（MDL）原理に似た方法で非可逆圧縮によって符号化されますが、ここではモデルに与えられたデータ長は、サンプル数とモデルのエントロピーの積で近似されます。各領域のテクスチャは、エントロピーが閉形式で表される多変量正規分布によってモデル化されます。このモデルの興味深い特性は、推定エントロピーがデータの真のエントロピーを上式で制限することです。これは、与えられた平均と共分散を持つすべての分布の中で、正規分布が最大のエントロピーを持つためです。したがって、真の符号化長は、アルゴリズムが最小化しようとする値を超えることはありません。

この方式は、画像の任意のセグメンテーションに対して、そのセグメンテーションに基づいて画像をエンコードするために必要なビット数を生成します。したがって、画像のあらゆるセグメンテーションの中から、最短の符号化長を実現するセグメンテーションを見つけることが目標となります。これは、単純な凝集型クラスタリング法によって実現できます。非可逆圧縮における歪みによってセグメンテーションの粗さが決まり、その最適値は画像ごとに異なる場合があります。このパラメータは、画像内のテクスチャのコントラストから経験的に推定できます。例えば、迷彩画像のように画像内のテクスチャが類似している場合、感度を高くし、量子化を低くする必要があります。

ヒストグラムベースの方法

ヒストグラムベースの手法は、通常、ピクセルを1回通過するだけで済むため、他の画像セグメンテーション手法と比較して非常に効率的です。この手法では、画像内のすべてのピクセルからヒストグラムが計算され、ヒストグラムの山と谷を使用して画像内のクラスターの位置を特定します。 [ 1 ]色または強度を指標として使用できます。

この手法の改良版として、画像内のクラスターにヒストグラム探索法を再帰的に適用し、より小さなクラスターに分割する方法があります。この操作は、クラスターが小さくなり、それ以上クラスターが形成されなくなるまで繰り返されます。 [ 1 ] [ 35 ]

ヒストグラム探索法の欠点の 1 つは、画像内の重要な山と谷を識別するのが難しい場合があることです。

ヒストグラムベースのアプローチは、シングルパスの効率性を維持しながら、複数のフレームに適用できるように迅速に調整できます。複数のフレームを考慮する場合、ヒストグラムは複数の方法で作成できます。1つのフレームに適用したのと同じアプローチを複数のフレームに適用でき、結果を統合することで、以前は識別が困難だった山と谷が区別しやすくなります。ヒストグラムはピクセルごとに適用することもでき、その結果得られた情報を使用して、ピクセル位置で最も頻繁に使用される色を決定します。このアプローチは、アクティブなオブジェクトと静的な環境に基づいてセグメント化するため、ビデオトラッキングに役立つ異なるタイプのセグメンテーションが得られます。

エッジ検出

エッジ検出は、画像処理において独自の高度な分野です。領域境界とエッジは密接に関連しており、領域境界では輝度が急激に変化することが多いためです。そのため、エッジ検出技術は、別のセグメンテーション技術の基盤として利用されてきました。

エッジ検出によって特定されたエッジは、しばしば不連続である。しかし、画像から物体を分割するには、閉じた領域の境界が必要である。望ましいエッジとは、そのような物体または空間分類群間の境界である。[ 36 ] [ 37 ]

空間分類群[ 38 ]は、階層的に入れ子になったシーン構造内の抽象レベルに配置された、鮮明なピクセル領域からなる情報粒子[ 39 ]である。ゲシュタルト心理学における図地の概念に類似しているが、前景、物体群、物体、そして顕著な物体部分を含むように拡張されている。空間分類群領域にも、シルエットと同様にエッジ検出手法を適用できる。この手法は、特に、不連続なエッジが錯覚的な輪郭線の一部である場合に有効である[ 40 ] [ 41 ] 。

セグメンテーション手法は、エッジ検出器から得られたエッジにも適用できます。LindebergとLi [ 42 ]は、パーツベースの物体認識のために、エッジを直線と曲線のエッジセグメントに分割する統合手法を開発しました。この手法は、最小記述長（MDL）基準に基づいており、分割とマージのような手法で最適化されています。この手法では、補完的な接合点の手がかりから得られた候補ブレークポイントを用いて、異なるセグメントへの分割を検討する可能性の高いポイントを取得します。

孤立点検出

画像内の孤立点の検出は、画像セグメンテーションの基本的な部分です。このプロセスは主に2次微分に依存しており、ラプラシアン演算子が使用されます。関数のラプラシアンは次のように表されます 。f（×、y）{\displaystyle f(x,y)}

∇2f（×、y）＝∂2f∂×2+∂2f∂y2{\displaystyle \nabla^{2}f(x,y)={\frac{\partial^{2}f}{\partial x^{2}}}+{\frac{\partial^{2}f}{\partial y^{2}}}}

ラプラシアン演算子を用いることで、偏微分は特定の方程式から導出されます。の2次偏微分は、およびに関して次のように与えられます。 f（×、y）{\displaystyle f(x,y)}×{\displaystyle x}y{\displaystyle y}

∂2f（×、y）∂×2＝f（×+1、y）+f（×−1、y）−2f（×、y）{\displaystyle {\frac {\partial^{2}f(x,y)}{\partial x^{2}}}=f(x+1,y)+f(x-1,y)-2f(x,y)}
∂2f（×、y）∂y2＝f（×、y+1）+f（×、y−1）−2f（×、y）{\displaystyle {\frac {\partial ^{2}f(x,y)}{\partial y^{2}}}=f(x,y+1)+f(x,y-1)-2f(x,y)}

これらの偏微分は次のようにラプラシアンを計算するために使用されます。

∇2f（×、y）＝f（×+1、y）+f（×−1、y）+f（×、y+1）+f（×、y−1）−4f（×、y）{\displaystyle \nabla^{2}f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)}

この数式は、適切なマスクを用いた畳み込みによって実装できます。この式を3次元(x,y,z)に拡張すると、(x,y,z)の中心ピクセルの周囲の各ピクセル位置における強度が、対応する値に置き換えられます。この式は、すべてのピクセルが各軸に沿って単位間隔で配置されていると仮定する場合に特に便利です。

3次元データセットで使用するために球面マスクが開発されました。この球面マスクは、計算中に整数演算のみを使用するように設計されているため、浮動小数点演算のハードウェアやソフトウェアは不要です。

これらの概念を数値配列として表現された実際の画像に適用する場合、エッジ領域または境界領域に到達したときに何が起こるかを考慮する必要があります。関数は次のように定義されます。 グラム（×、y）{\displaystyle g(x,y)}

グラム（×、y）＝{1もし |R（×、y）|≥T0さもないと{\displaystyle g(x,y)={\begin{cases}1&{\text{if }}|R(x,y)|\geq T\\0&{\text{otherwise}}\end{cases}}}

上記の式は、応答の大きさと閾値に基づいて、画像内の点が孤立点であるかどうかを判定するために使用されます。応答の大きさが閾値以上の場合、関数は孤立点の存在を示す1を返し、それ以外の場合は0を返します。これは、画像内の孤立点の効率的な検出とセグメンテーションに役立ちます。[ 43 ]|R（×、y）|{\displaystyle |R(x,y)|}T{\displaystyle T}

X線画像処理における孤立点検出の応用

孤立点の検出は、X線画像処理を含む様々な分野で重要な応用が期待されています。例えば、タービンブレードの元のX線画像をピクセル単位で検査することで、ブレードの右上象限の多孔性を検出することができます。このX線画像にエッジ検出器の応答を適用した結果は近似値として表すことができます。これは、単一ピクセルプローブを用いて画像内の孤立点をセグメンテーションする手法を示しています。[ 43 ]

デュアルクラスタリング法

この方法は、画像の 3 つの特性を組み合わせたものです。ヒストグラム分析に基づく画像の分割は、クラスター (オブジェクト) の高密度と、それらの境界の高勾配によってチェックされます。そのためには、2 つの空間を導入する必要があります。1 つは明るさの 1 次元ヒストグラムH =  H ( B ) です。2 つ目は、元の画像自体のデュアル 3 次元空間B =  B ( x、  y ) です。最初の空間では、最小クラスタリング kmin を計算することにより、画像の明るさがどれだけ高密度に分布しているかを測定できます。 kmin に対応するしきい値明るさ T は、バイナリ (白黒) 画像、つまりビットマップb =  φ ( x、  y ) を定義します。ここで、 B ( x、  y ) <  Tの場合はφ ( x 、 y  ) = 0、 B ( x、  y ) ≥  Tの場合はφ ( x、  y ) = 1 です。ビットマップbは、デュアル空間内のオブジェクトです。このビットマップ上で、黒（または白）ピクセルがどれだけコンパクトに分布しているかを反映する尺度を定義する必要がある。したがって、目標は良好な境界を持つ物体を見つけることである。すべてのTについて、尺度M DC =  G /( k  ×  L )を計算する必要がある（ここで、kは物体と背景の明度差、Lはすべての境界の長さ、Gは境界上の平均勾配である）。MDCの最大値がセグメンテーションを定義する。[ 44 ]

地域栽培法

領域拡張法は、主に、ある領域内の隣接するピクセルが類似した値を持つという仮定に基づいています。一般的な手順は、あるピクセルをその隣接するピクセルと比較することです。類似性基準が満たされた場合、そのピクセルは1つ以上の隣接するピクセルと同じクラスターに属するように設定できます。類似性基準の選択は重要であり、結果はいずれの場合もノイズの影響を受けます。

統計的領域マージ法[ 45 ]（SRM）は、4連結性を用いてピクセルのグラフを構築し、エッジは輝度差の絶対値で重み付けされます。まず、各ピクセルは単一のピクセル領域を形成します。SRMは、これらのエッジを優先キューにソートし、統計的述語を用いて、エッジピクセルに属する現在の領域をマージするかどうかを決定します。

領域拡張法の1 つに、シード領域拡張法があります。この方法では、画像とともに一連のシードを入力として受け取ります。シードは、分割する各オブジェクトをマークします。領域は、割り当てられていないすべての近隣ピクセルを領域と比較することによって反復的に拡張されます。ピクセルの強度値と領域の平均 の差は、類似性の尺度として使用されます。このようにして測定された差が最も小さいピクセルが、それぞれの領域に割り当てられます。このプロセスは、すべてのピクセルが領域に割り当てられるまで続けられます。シード領域拡張では、追加の入力としてシードが必要なため、分割結果はシードの選択に依存し、画像内のノイズによってシードが適切に配置されない可能性があります。 δ{\displaystyle \delta}

もう一つの領域拡張法は、シードなし領域拡張法です。これは、明示的なシードを必要としない修正アルゴリズムです。単一の領域から開始します。ここで選択されたピクセルは、最終的なセグメンテーションに大きな影響を与えません。各反復処理では、シードあり領域拡張法と同様に、隣接するピクセルを考慮します。シードあり領域拡張法との違いは、最小値が事前定義された閾値未満の場合、そのピクセルがそれぞれの領域に追加される点です。そうでない場合、そのピクセルは現在のすべての領域とは異なるとみなされ、そのピクセルを含む新しい領域が作成されます。 あ1{\displaystyle A_{1}}δ{\displaystyle \delta}T{\displaystyle T}あj{\displaystyle A_{j}}あ私{\displaystyle A_{i}}あn+1{\displaystyle A_{n+1}}

この手法の一つのバリエーションとして、HaralickとShapiro (1985) [ 1 ]が提案したものは、ピクセルの強度に基づいています。領域の平均と散布度、および候補ピクセルの強度を用いて検定統計量を計算します。検定統計量が十分に小さい場合、そのピクセルは領域に追加され、領域の平均と散布度が再計算されます。そうでない場合、そのピクセルは棄却され、新しい領域の形成に使用されます。

特別な領域成長法は -連結セグメンテーション（ラムダ連結性も参照）と呼ばれる。これはピクセルの強度と近傍を結ぶ経路に基づいている。連結度（連結性）は、ピクセルによって形成される経路に基づいて計算される。 の特定の値に対して、2つのピクセルを結ぶ経路があり、その経路の連結度が少なくとも である場合、2つのピクセルは -連結されていると呼ばれる。-連結性は同値関係である。[ 46 ]λ{\displaystyle \lambda}λ{\displaystyle \lambda}λ{\displaystyle \lambda}λ{\displaystyle \lambda}λ{\displaystyle \lambda}

分割・結合セグメンテーションは、画像の 四分木分割に基づいています。四分木セグメンテーションと呼ばれることもあります。

この手法は、画像全体を表す木の根元から開始する。もしそれが均一でない（同質でない）と判断された場合、4つの子の正方形に分割される（分割処理）。一方、4つの子の正方形が同質である場合、それらは複数の連結成分として統合される（統合処理）。木内のノードはセグメント化されたノードである。この処理は、それ以上分割または統合できなくなるまで再帰的に続行される。[ 47 ] [ 48 ]この手法のアルゴリズムの実装に特殊なデータ構造が関係する場合、その時間計算量は、この手法の最適なアルゴリズムに達する可能性がある。[ 49 ]お（nログ⁡n）{\displaystyle O(n\log n)}

偏微分方程式に基づく方法

偏微分方程式（PDE）に基づく方法を使用し、数値スキームでPDE方程式を解くことで、画像をセグメント化することができます。[ 50 ]曲線伝播はこのカテゴリで人気の高い手法であり、物体抽出、物体追跡、ステレオ再構成など、数多くの用途があります。中心的な考え方は、初期曲線をコスト関数の最低ポテンシャルに向かって進化させることであり、その定義は対処すべきタスクを反映しています。ほとんどの逆問題と同様に、コスト関数の最小化は自明ではなく、解に一定の滑らかさの制約を課します。この場合は、進化する曲線に対する幾何学的な制約として表現できます。

パラメトリック法

ラグランジュ手法は、何らかのサンプリング戦略に従って輪郭をパラメータ化し、各要素を像項と内部項に従って展開させる手法に基づいています。このような手法は高速かつ効率的ですが、当初の「純粋にパラメトリックな」定式化（1987年にKass、 Witkin、Terzopoulosによって提案され、「スネーク」として知られています）は、サンプリング戦略の選択、曲線の内部幾何学的特性、位相変化（曲線の分割と結合）、高次元問題への対応などに関する限界について、一般的に批判されています。今日では、高い効率性を維持しながらこれらの限界に対処するために、効率的な「離散化」定式化が開発されています。どちらの場合も、エネルギー最小化は一般的に最急勾配降下法を用いて行われ、その微分は例えば有限差分法を用いて計算されます。

レベルセット法

レベルセット法は、 1979年と1981年にDervieuxとThomasset [ 51 ] [ 52 ]によって移動する界面を追跡するために最初に提案され、その後1988年にOsherとSethianによって再発明されました。 [ 53 ]これは、1990年代後半にさまざまなイメージング領域に広まりました。曲線、表面などの伝播の問題を暗黙的に効率的に処理するために使用できます。中心的なアイデアは、実際の輪郭にゼロが対応する符号付き関数を使用して、進化する輪郭を表すことです。次に、輪郭の運動方程式に従って、ゼロレベルに適用すると輪郭の伝播を反映する暗黙的な表面の同様のフローを簡単に導き出すことができます。レベルセット法には、暗黙的であること、パラメーターが不要であること、進化する構造の幾何学的特性を直接推定できること、トポロジの変更が可能であること、および本質的であることなど、多くの利点があります。これは、1996年にZhao、Merriman、Osherによって提案された最適化フレームワークを定義するために使用できます。これは、コンピュータービジョンと医療画像解析の多くのアプリケーションに対処するための非常に便利なフレームワークであると結論付けることができます。[ 54 ]さまざまなレベルセットデータ構造の研究により、この手法の非常に効率的な実装が実現しました。

高速行進法

高速マーチング法は画像セグメンテーションに使用されており[ 55 ]、このモデルは一般化高速マーチング法と呼ばれるアプローチで改良されています（正と負の両方の伝播速度を許容します）。[ 56 ]

変分法

変分法の目的は、特定のエネルギー関数に関して最適なセグメンテーションを見つけることです。この関数は、データフィッティング項と正規化項から構成されます。典型的な例としては、画像に対して定義されるポッツ モデルが挙げられます。f{\displaystyle f}

argminあなた⁡γ‖∇あなた‖0+∫（あなた−f）2d×。{\displaystyle \operatorname {argmin} _{u}\gamma \|\nabla u\|_{0}+\int (uf)^{2}\,dx.}

最小化器とは、与えられた画像までのL2距離の2乗とジャンプ集合の全長との間で最適なトレードオフを持つ区分定数画像である。ジャンプ集合はセグメンテーションを定義する。エネルギーの相対的な重みはパラメータによって調整される。ポッツモデルの2値版、すなわち の範囲が2つの値に制限されている場合は、しばしばチャンベスモデルと呼ばれる。[ 57 ]重要な一般化として、マンフォード・シャーモデル[ 58 ]があり、これは次式で表される 。あなた∗{\displaystyle u^{*}}f{\displaystyle f}あなた∗{\displaystyle u^{*}}γ>0{\displaystyle \gamma >0}あなた{\displaystyle u}

argminあなた、K⁡γ|K|+μ∫KC|∇あなた|2d×+∫（あなた−f）2d×。{\displaystyle \operatorname {argmin} _{u,K}\gamma |K|+\mu \int _{K^{C}}|\nabla u|^{2}\,dx+\int (uf)^{2}\,dx.}

関数値は、セグメンテーション曲線の全長、近似の滑らかさ、および元の画像からの距離の合計です。滑らかさのペナルティの重みは によって調整されます。ポッツモデルは、 の退化したケースと見なすことができるため、区分定数マンフォード・シャーモデルと呼ばれることがよくあります。最適化問題は一般にNP困難であることが知られていますが、近似最小化戦略は実際にはうまく機能します。古典的なアルゴリズムとしては、段階的非凸性近似とアンブロジオ・トルトレッリ近似があります。 K{\displaystyle K}あなた{\displaystyle u}f{\displaystyle f}μ>0{\displaystyle \mu >0}μ→∞{\displaystyle \mu \to \infty }

グラフ分割法

グラフ分割法は、画像の均一性を仮定し、ピクセル近傍が特定のピクセルクラスターまたはピクセルに与える影響をモデル化するため、画像セグメンテーションに効果的なツールです。これらの手法では、画像は重み付きの無向グラフとしてモデル化されます。通常、ピクセルまたはピクセルグループはノードに関連付けられ、エッジの重みは近傍ピクセル間の類似度（非類似度）を定義します。グラフ（画像）は、「良好な」クラスターをモデル化するために設計された基準に従って分割されます。これらのアルゴリズムから出力されるノード（ピクセル）の各分割は、画像内のオブジェクトセグメントとみなされます。「セグメンテーションに基づくオブジェクト分類」を参照してください。このカテゴリでよく使用されるアルゴリズムには、正規化カット[ 59 ] 、[ランダムウォーカー] 、[ 60 ] 、[最小カット]、[ 61 ] 、[等周分割]、[ 62 ]、[最小全域木に基づくセグメンテーション]、[ 63 ]、セグメンテーションに基づくオブジェクト分類などがあります。

マルコフ確率場

マルコフ確率場（MRF）の画像への応用は、1984 年初頭に Geman と Geman によって提案されました。[ 64 ]その強力な数学的基礎と、局所的な特徴に基づいて定義された場合でも全体的最適値を提供できる能力は、画像分析、ノイズ除去、セグメンテーションの領域における新しい研究の基礎となりました。MRF は、事前確率分布、周辺確率分布、クリーク、平滑化制約、および値の更新基準によって完全に特徴付けられます。MRF を使用した画像セグメンテーションの基準は、特定の特徴セットに対して最大確率を持つラベル付けスキームを見つけることであると言い換えられます。MRF を使用した画像セグメンテーションの広範なカテゴリは、教師ありセグメンテーションと教師なしセグメンテーションです。

MRFとMAPを用いた教師あり画像セグメンテーション

画像セグメンテーションの観点から見ると、MRFが最大化しようとする関数は、画像内で特定の特徴セットが検出された場合に、ラベル付けスキームを識別する確率です。これは、最大事後推定法を言い換えたものです。

選択されたピクセルのMRF近傍

MAP を使用した画像セグメンテーションの一般的なアルゴリズムは次のとおりです。

  1. 各特徴量の近傍（MRFにおけるランダム変数）を定義します。 通常、これには1次近傍または2次近傍が含まれます。
  2. 各特徴の初期確率P ( f i ) >を0または
  3. ここで、f i ∈ Σはピクセルiに対して抽出された特徴を含むセットであり 、クラスターの初期セットを定義します。
  4. トレーニングデータを用いて、各ラベルの平均（μ ℓ i）と分散（σ ℓ i）を計算します。これはクラス統計と呼ばれます。
  5. ベイズの定理と先ほど計算したクラス統計量を用いて、与えられたラベル付けスキームP ( f i  |  ℓ i )の周辺分布を計算します 。周辺分布にはガウスモデルを使用します。
    1σ（ℓ私）2πe−（f私−μ（ℓ私））2/（2σ（ℓ私）2）dℓ私{\displaystyle {\frac {1}{\sigma (\ell _{i}){\sqrt {2\pi }}}}e^{-(f_{i}-\mu (\ell _{i}))^{2}/(2\sigma (\ell _{i})^{2})}\,d\ell _{i}}
  6. 事前に定義された近傍を与えられた場合の各クラスラベルの確率を計算します。 クリークポテンシャルは、ラベル付けにおける社会的影響をモデル化するために用いられます。
  7. 新たな事前確率を反復処理し、これらの確率が最大化されるようにクラスターを再定義します。 これは、以下に説明する様々な最適化アルゴリズムを用いて行われます。
  8. 確率が最大化され、ラベル付けスキームが変化しなくなったら停止します。 計算は対数尤度でも実装できます。

最適化アルゴリズム

各最適化アルゴリズムは、様々な分野のモデルを応用したもので、それぞれ独自のコスト関数によって区別されます。コスト関数の共通の特徴は、ピクセル値の変化だけでなく、隣接するピクセルのラベルと比較した際のピクセルラベルの差にもペナルティを課すことです。

反復条件付きモード/勾配降下法

反復条件モード（ICM）アルゴリズムは、各反復で各ピクセルの値を変更し、以下に示すコスト関数を使用して新しいラベリングスキームのエネルギーを評価することで、理想的なラベリングスキームを再構築しようとします。

α（1−δ（ℓ私−ℓイニシャル 私）+βΣq∈北（私）（1−δ（ℓ私、ℓq（私）））。{\displaystyle \alpha (1-\delta (\ell _{i}-\ell _{{\text{initial }}i})+\beta \Sigma _{q\in N(i)}(1-\delta (\ell _{i},\ell _{q(i)})).}

ここで、αはピクセルラベルの変更に対するペナルティ、βは隣接ピクセルと選択されたピクセルのラベルの差に対するペナルティです。ここではピクセルiの近傍、δはクロネッカーのデルタ関数です。ICMの主な問題は、勾配降下法と同様に、局所的最大値に留まる傾向があり、したがって大域的に最適なラベリングスキームを得られないことです。 北（私）{\displaystyle N(i)}

シミュレーテッドアニーリング（SA）

冶金学におけるアニーリングの類似例として派生したシミュレーテッドアニーリング（SA）は、反復処理におけるピクセルラベルの変化を用いて、新たに形成された各グラフと初期データのエネルギー差を推定します。新たに形成されたグラフが、エネルギーコストが低いという点でより収益性が高い場合、その差は次のように表されます。

Δあなた＝あなた新しい−あなた古い{\displaystyle \Delta U=U^{\text{新}}-U^{\text{旧}}}
ℓ私＝{ℓ私新しい、もし Δあなた≤0、ℓ私新しい、もし Δあなた>0 そして δ<e−Δあなた/T、ℓ私古い{\displaystyle \ell _{i}={\begin{cases}\ell _{i}^{\text{new}},&{\text{if }}\Delta U\leq 0,\\\ell _{i}^{\text{new}},&{\text{if }}\Delta U>0{\text{ かつ }}\delta <e^{-\Delta U/T},\ell _{i}^{\text{old}}\end{cases}}}

アルゴリズムは新たに形成されたグラフを選択します。シミュレーテッドアニーリングでは、システムの収束速度に直接影響する温度スケジュールと、最小化を実現するためのエネルギー閾値を入力する必要があります。

代替アルゴリズム

単純MRFだけでなく高次MRFを解くための様々な手法が存在する。それらには、事後マージナル最大化、マルチスケールMAP推定、[ 65 ] 、多重解像度セグメンテーション[ 66 ]などが含まれる。尤度推定以外にも、最大フローを用いたグラフカット[ 67 ]や、その他の制約の厳しいグラフベースの手法[ 68 ] [ 69 ]もMRFを解くために存在する。

MAPと期待値最大化を用いた画像セグメンテーション

期待最大化アルゴリズムは、学習データが利用できず、セグメンテーションモデルの推定値も形成できない場合に、ラベル付けの事後確率と分布を反復的に推定するために利用されます。一般的なアプローチとしては、画像の特徴を表すためにヒストグラムを使用し、以下の3段階のアルゴリズムで簡単に概説されている手順で進めます。

1. モデルパラメータのランダム推定値が使用されます。

2. Eステップ：定義されたランダムセグメンテーションモデルに基づいてクラス統計量を推定します。これを用いて、素因数分解定理を用いて計算された特徴セットを与えられた場合の、ラベルに属する条件付き確率を計算します。

P（λ∣f私）＝P（f私∣λ）P（λ）Σλ∈ΛP（f私∣λ）P（λ）{\displaystyle P(\lambda \mid f_{i})={\frac {P(f_{i}\mid \lambda )P(\lambda )}{\Sigma _{\lambda \in \Lambda }P(f_{i}\mid \lambda )P(\lambda )}}}

ここで、すべての可能なラベルの集合。 λ∈Λ{\displaystyle \lambda \in \Lambda }

3. Mステップ：与えられた特徴セットとラベル付けスキームとの関連性は、アルゴリズムの後半で与えられたラベルの事前推定値を計算するために使用されます。ラベルの総数は（トレーニングデータセットからは）不明であるため、ユーザーが指定したラベル数の隠れた推定値が計算に使用されます。

P(λ)=Σλ∈ΛP(λ∣fi)|Ω|{\displaystyle P(\lambda )={\frac {\Sigma _{\lambda \in \Lambda }P(\lambda \mid f_{i})}{|\Omega |}}}

ここで、すべての可能な特徴の集合です。 Ω{\displaystyle \Omega }

HMRF-EMモデルを用いたカラー画像のセグメンテーション

MAPとEMベースの画像セグメンテーションの欠点

  1. 正確な MAP 推定値を簡単に計算することはできません。
  2. おおよその MAP 推定値を計算するには、計算コストがかかります。
  3. マルチクラス ラベリングの拡張により、パフォーマンスが低下し、必要なストレージが増加します。
  4. 全体最適を達成するには、EM のパラメータの信頼性の高い推定が必要です。
  5. 最適化の方法に基づいて、セグメンテーションは局所的最小値にクラスター化される場合があります。

流域の変革

流域変換は、画像の勾配強度を地形面と見なします。勾配強度（GMI）が最も高いピクセルは、領域の境界を表す流域線に対応します。共通の流域線で囲まれた任意のピクセルに置かれた水は、共通の局所強度最小値（LIM）に向かって下流に流れます。共通の最小値に流れ込むピクセルは、セグメントを表す集水桝を形成します。

モデルベースのセグメンテーション

モデルベースアプローチの中心的な仮定は、対象となる構造が特定の形状に向かう傾向があるというものである。したがって、形状とその変化を特徴付ける確率モデルを求めることができる。画像をセグメンテーションする際には、このモデルを事前条件として制約を課すことができる。[ 70 ]このようなタスクには、(i) トレーニングサンプルを共通のポーズに登録すること、(ii) 登録されたサンプルの変化を確率的に表現すること、(iii) モデルと画像間の統計的推論が含まれる。モデルベースセグメンテーションの文献に記載されている他の重要な手法としては、アクティブ形状モデルやアクティブ外観モデルなどがある。

マルチスケールセグメンテーション

画像のセグメンテーションは、スケール空間内の複数のスケールで計算され、粗いスケールから細かいスケールに伝播されることもあります。スケール空間セグメンテーションを参照してください。

セグメンテーションの基準は任意に複雑にすることができ、グローバル基準とローカル基準の両方を考慮することができます。一般的な要件として、各リージョンは何らかの形でつながっている必要があります。

1次元階層信号セグメンテーション

ウィトキンのスケール空間における先駆的な研究[ 71 ] [ 72 ]には、1次元信号を1つのスケールパラメータで分割のスケールを制御しながら、明確に領域に分割できるという概念が含まれていました。

重要な観察結果は、信号のマルチスケール平滑化バージョンにおける2次導関数（1次導関数または傾きの最小値と最大値）のゼロ交差がネストツリーを形成し、異なるスケールにおけるセグメント間の階層関係を定義することです。具体的には、粗いスケールにおける傾きの極値は、細かいスケールにおける対応する特徴まで遡ることができます。より大きなスケールにおいて、傾きの最大値と最小値が互いに相殺する場合、それらが分離していた3つのセグメントは1つのセグメントに統合され、セグメントの階層が定義されます。

画像セグメンテーションと原始スケッチ

この分野では数多くの研究が行われており、そのうちのいくつかは、インタラクティブな手動介入（通常は医用画像への応用）または完全に自動化された状態で適用できる段階に達しています。以下は、現在のアプローチの基盤となっている主要な研究アイデアの概要です。

しかしながら、Witkinが説明したネスティング構造は1次元信号に特有のものであり、高次元画像には容易に適用できない。それでもなお、この一般的な考え方は、他の多くの研究者に画像​​セグメンテーションのための粗いものから細かいものへのスキームを研究するインスピレーションを与えた。Koenderink [ 73 ]は、等強度輪郭がスケールに応じてどのように変化するかを研究することを提案し、このアプローチはLifshitzとPizerによってより詳細に研究された。[ 74 ]しかし残念なことに、画像特徴の強度はスケールに応じて変化するため、等強度情報を用いて粗いスケールの画像特徴をより細かいスケールに追跡することは困難である。

Lindeberg [ 75 ] [ 76 ]は、スケール上の局所的極値と鞍点を結びつける問題を研究し、スケール空間プライマルスケッチと呼ばれる画像表現を提案した。これは、異なるスケールにおける構造間の関係を明示的に示し、また、画像の特徴が、局所的に適切なスケールを含む広いスケール範囲にわたって安定していることも明確にする。Bergholmは、スケール空間において粗いスケールでエッジを検出し、その後、粗い検出スケールと細かい位置特定スケールの両方を手動で選択して、エッジをより細かいスケールまでトレースすることを提案した。

GauchとPizer [ 77 ]は、複数のスケールでの尾根と谷の相補的問題を研究し、マルチスケールの流域に基づいて対話型の画像セグメンテーション用のツールを開発した。マルチスケールの流域の勾配マップへの応用は、OlsenとNielsen [ 78 ]によっても研究され、Dam [ 79 ]によって臨床使用に引き継がれた。Vinckenら[ 80 ]は、異なるスケールでの画像構造間の確率的関係を定義するためのハイパースタックを提案した。スケールを超えた安定した画像構造の使用は、Ahuja [ 81 ] [ 82 ]と彼の同僚らによって完全に自動化されたシステムにまで発展した。マルチスケールの流域の密接に関連したアイデアに基づく完全に自動化された脳セグメンテーションアルゴリズムは、UndemanとLindeberg [ 83 ]によって発表され、脳データベースで広範にテストされている。

スケールを超えて画像構造をリンクさせることによるマルチスケール画像セグメンテーションのアイデアは、FlorackとKuijperによっても取り上げられています。[ 84 ] BijaouiとRué [ 85 ]は、最小ノイズ閾値を超えるスケール空間で検出された構造を、複数のスケールにまたがり、元の信号におけるある種の特徴に対応するオブジェクトツリーに関連付けます。抽出された特徴は、反復共役勾配行列法を用いて正確に再構成されます。

半自動セグメンテーション

ある種類のセグメンテーションでは、ユーザーはマウスをクリックして関心領域の輪郭を描き、画像の端に最もよく適合するパスが表示されるようにアルゴリズムが適用されます。

この種のセグメンテーションでは、 SIOX、Livewire 、Intelligent Scissors、IT-SNAPSなどの技術が用いられます。半自動セグメンテーションの別の種類では、アルゴリズムはユーザーが選択した、あるいは事前確率によって指定された空間分類（前景、オブジェクトグループ、オブジェクト、またはオブジェクトの一部）を返します。[ 86 ] [ 87 ]

トレーニング可能なセグメンテーション

前述のセグメンテーション手法のほとんどは、画像内のピクセルの色情報のみに基づいています。人間は画像セグメンテーションを行う際に、はるかに多くの知識を活用しますが、この知識を実装するには、相当な人的エンジニアリングと計算時間がかかり、現在存在しない膨大なドメイン知識データベースが必要になります。ニューラルネットワークセグメンテーションなどの学習可能なセグメンテーション手法は、ラベル付けされたピクセルのデータセットからドメイン知識をモデル化することで、これらの問題を克服します。

画像セグメンテーションニューラルネットワークは、画像の小さな領域を処理して、エッジなどの単純な特徴を抽出できます。[ 88 ]その後、別のニューラルネットワーク、あるいは任意の意思決定メカニズムがこれらの特徴を組み合わせて、画像の各領域に適切なラベルを付けます。このように設計されたネットワークの一種に、コホーネンマップがあります。

パルス結合ニューラルネットワーク（PCNN）は、猫の視覚野をモデル化して提案され、高性能な生体模倣画像処理用に開発されたニューラルモデルです。1989年、ラインハルト・エックホーンが猫の視覚野のメカニズムをエミュレートするニューラルモデルを発表しました。エックホーンモデルは小型哺乳類の視覚野を研究するためのシンプルで効果的なツールを提供し、すぐに画像処理における大きな応用可能性が認識されました。1994年、エックホーンモデルはジョン・L・ジョンソンによって画像処理アルゴリズムに適応され、ジョンソンはこのアルゴリズムをパルス結合ニューラルネットワークと名付けました。[ 89 ]過去10年間で、PCNNは画像セグメンテーション、特徴生成、顔抽出、動き検出、領域拡張、ノイズ低減など、さまざまな画像処理アプリケーションに利用されてきました。PCNNは2次元ニューラルネットワークです。ネットワーク内の各ニューロンは入力画像内の1ピクセルに対応し、対応するピクセルの色情報（強度など）を外部刺激として受け取ります。また、各ニューロンは隣接するニューロンとも接続し、それらから局所刺激を受け取ります。外部刺激と局所刺激は内部活性化システムで結合され、刺激が動的閾値を超えるまで蓄積され、パルス出力が生成されます。反復計算により、PCNNニューロンは時系列のパルス出力を生成します。時系列のパルス出力には入力画像の情報が含まれており、画像セグメンテーションや特徴生成など、さまざまな画像処理アプリケーションに利用できます。従来の画像処理手段と比較して、PCNNには、ノイズに対する堅牢性、入力パターンの幾何学的変化の独立性、入力パターンの小さな強度変化を橋渡しする機能など、いくつかの重要なメリットがあります。

2015 年、畳み込みニューラルネットワークはセマンティックセグメンテーションの最先端に到達しました。[ 90 ] U-Net は、画像を入力として受け取り、各ピクセルのラベルを出力するアーキテクチャです。[ 91 ] U-Net は当初、生物医学画像の細胞境界を検出するために開発されました。U-Net は古典的なオートエンコーダアーキテクチャに従っており、2 つのサブ構造が含まれています。エンコーダ構造は、従来の畳み込み層と最大プーリング層のスタックに従っており、層を通過するにつれて受容野が拡大します。これは、画像内のコンテキストをキャプチャするために使用されます。デコーダ構造は、転置畳み込み層を使用してアップサンプリングを行い、最終的な寸法が入力画像の寸法に近くなるようにします。同じ形状の畳み込み層と転置畳み込み層の間には、スキップ接続が配置されます。これにより、そうでなければ失われていた詳細が保持されます。

各ピクセルに特定のカテゴリを割り当てるピクセルレベルのセマンティックセグメンテーションタスクに加えて、現代のセグメンテーションアプリケーションには、特定のカテゴリ内の各個体を一意に識別する必要があるインスタンスレベルのセマンティックセグメンテーションタスクと、これら2つのタスクを組み合わせてより完全なシーンセグメンテーションを提供するパノプティックセグメンテーションタスクが含まれます。[ 28 ]

フォトアルバムや一連のビデオフレームなどの関連画像には、意味的に類似したオブジェクトやシーンが含まれていることが多く、そのため、このような相関関係を利用すると有益な場合が多い。[ 92 ]関連画像やビデオフレームからシーンを同時に分割するタスクは、コセグメンテーションと呼ばれ、[ 23 ]人間の動作の局在化でよく使用される。従来の境界ボックスベースのオブジェクト検出とは異なり、人間の動作の局在化手法では、よりきめ細かい結果が提供され、通常は画像ごとにセグメンテーションマスクを使用して、対象の人間のオブジェクトとその動作カテゴリを描写する（例：セグメントチューブ[ 24 ] ）。動的マルコフネットワーク、CNN、LSTMなどの手法は、フレーム間の相関関係を利用するためによく使用される。

その他の方法

マルチスペクトルセグメンテーションやDTI画像に基づく接続性ベースのセグメンテーションなど、セグメンテーションの方法は他にも数多くある。[ 93 ] [ 94 ]

参照

注記

  1. ^ a b c d eリンダ・G・シャピロとジョージ・C・ストックマン（2001年）「コンピュータビジョン」pp 279-325、ニュージャージー州プレンティス・ホール、ISBN 0-13-030796-3
  2. ^ローレン・バルグート、ローレン・W・リー共著「知覚情報処理システム」Paravue Inc. 米国特許出願10/618,543、2003年7月11日出願。
  3. ^ニールセン, フランク; ノック, リチャード (2003). 「領域マージについて：高速ソートの統計的健全性とその応用」2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2003. Proceedings . Vol. 2. IEEE. pp. II:19–26. doi : 10.1109/CVPR.2003.1211447 . ISBN 0-7695-1900-8。
  4. ^ Zachow, Stefan, Michael Zilske, Hans-Christian Hege. 「医療画像データからの個々の解剖学的構造の3D再構築：セグメンテーションとジオメトリ処理」（2007年）。
  5. ^ Belongie, Serge, et al. 「 EMを用いた色とテクスチャに基づく画像セグメンテーションとコンテンツベース画像検索への応用」第6回国際コンピュータビジョン会議（IEEE Cat. No. 98CH36271）IEEE、1998年。
  6. ^ Pham, Dzung L.; Xu, Chenyang; Prince, Jerry L. (2000). 「医用画像セグメンテーションにおける最新の手法」. Annual Review of Biomedical Engineering . 2 : 315–337 . doi : 10.1146/annurev.bioeng.2.1.315 . PMID 11701515 . 
  7. ^ Forghani, M.; Forouzanfar, M.; Teshnehlab, M. (2010). 「脳MR画像セグメンテーションのための改良型ファジーC平均法クラスタリングアルゴリズムのパラメータ最適化」.人工知能工学応用. 23 (2): 160– 168. doi : 10.1016/j.engappai.2009.10.002 .
  8. ^ Reznikov, Natalie; Buss, Dan J.; Provencher, Benjamin; McKee, Marc D.; Piché, Nicolas (2020年10月). 「バイオミネラリゼーション研究における3Dイメージングと画像解析のためのディープラーニング」. Journal of Structural Biology . 212 (1) 107598. doi : 10.1016/j.jsb.2020.107598 . ISSN 1047-8477 . PMID 32783967. S2CID 221126896 .   
  9. ^ Wu, Wei; Chen, Albert YC; Zhao, Liang; Corso, Jason J. (2014). 「ピクセルペアワイズアフィニティとスーパーピクセルレベルの特徴を用いたCRF（条件付きランダムフィールド）フレームワークによる脳腫瘍の検出とセグメンテーション」 . International Journal of Computer Assisted Radiology and Surgery . 9 (2): 241– 253. doi : 10.1007/s11548-013-0922-7 . PMID 23860630. S2CID 13474403 .  
  10. ^ EB GeorgeとM. Karnan (2012)：「バクテリア採餌最適化アルゴリズムを使用したMR脳画像セグメンテーション」、 International Journal of Engineering and Technology、Vol.4。
  11. ^ Ye, Run Zhou; Noll, Christophe; Richard, Gabriel; Lepage, Martin; Turcotte, Éric E.; Carpentier, André C. (2022年2月). 「DeepImageTranslator: ディープラーニングを用いた画像翻訳のための無料かつユーザーフレンドリーなグラフィカルインターフェースと3D CT画像解析への応用」 SLAS Technology . 27 (1): 76– 84. doi : 10.1016/j.slast.2021.10.014 . ISSN 2472-6303 . PMID 35058205 .  
  12. ^ Ye, En Zhou; Ye, En Hui; Bouthillier, Maxime; Ye, Run Zhou (2022年2月18日). 「DeepImageTranslator V2：ディープラーニングで生成されたセマンティックセグメンテーションマップを用いたマルチモーダル医用画像の分析」bioRxiv 10.1101/2021.10.12.464160 . 
  13. ^ Kamalakannan, Sridharan; Gururajan, Arunkumar; Sari-Sarraf, Hamed; Rodney, Long; Antani, Sameer (2010年2月17日). 「加圧オープンDGVFスネークを用いた腰椎放射線画像の両エッジ検出」. IEEE Transactions on Biomedical Engineering . 57 (6): 1325– 1334. Bibcode : 2010ITBE...57.1​​325K . doi : 10.1109 /tbme.2010.2040082 . PMID 20172792. S2CID 12766600 .  
  14. ^ジョルジェスク、マリアナ・ユリアナ;イヨネスク、ラドゥ・チューダー。ミロン、アンドレア・ユリアナ（2022年12月21日）。 「医療画像セグメンテーションのためのダイバーシティ推進アンサンブル」。arXiv : 2210.12388 [ eess.IV ]。
  15. ^ Basu, Anusua; Senapati, Pradip; Deb, Mainak; Rai, Rebika; Dhal, Krishna Gopal (2023年3月6日). 「組織病理画像からの核セグメンテーションにおけるディープラーニングの最新動向に関する調査」 . Evolving Systems . 15 : 203–248 . doi : 10.1007/s12530-023-09491-3 . ISSN 1868-6486 . PMC 9987406. PMID 38625364 .   
  16. ^ Mahbod, Amirreza; Schaefer, Gerald; Dorffner, Georg; Hatamikia, Sepideh; Ecker, Rupert; Ellinger, Isabella (2022年11月11日). 「ヘマトキシリンおよびエオシン染色組織学的画像における核インスタンスセグメンテーションのためのデュアルデコーダーU-Netベースモデル」 . Frontiers in Medicine . 9 978146. doi : 10.3389/fmed.2022.978146 . ISSN 2296-858X . PMC 9691672. PMID 36438040 .   
  17. ^ Ramakrishnan, Vignesh; Artinger, Annalena; Daza Barragan, Laura Alexandra; Daza, Jimmy; Winter, Lina; Niedermair, Tanja; Itzel, Timo; Arbelaez, Pablo; Teufel, Andreas; Cotarelo, Cristina L.; Brochhausen, Christoph (2024年10月1日). 「Mask R-CNNの特徴ピラミッド型ネットワークバリアントを用いた組織病理学的画像の核検出とセグメンテーション」 . Bioengineering (Basel, Switzerland) . 11 (10): 994. doi : 10.3390/bioengineering11100994 . ISSN 2306-5354 . PMC 11504515. PMID 39451370 .   
  18. ^ Shu, Jie; Fu, Hao; Qiu, Guoping; Kaye, Philip; Ilyas, Mohammad (2013). 「デジタル組織病理画像における重複細胞核のセグメンテーション」 2013年 第35回IEEE医学生物学工学会議 (EMBC) 年次国際会議. 第2013巻. pp.  5445– 5448. doi : 10.1109/EMBC.2013.6610781 . ISBN 978-1-4577-0216-7. ISSN  2694-0604 . PMID  24110968 .
  19. ^ 「PAN-CANCER-NUCLEI-SEG」 . The Cancer Imaging Archive (TCIA) . 2025年10月13日閲覧。
  20. ^ Mahbod, Amirreza; Polak, Christine; Feldmann, Katharina; Khan, Rumsha; Gelles, Katharina; Dorffner, Georg; Woitek, Ramona; Hatamikia, Sepideh; Ellinger, Isabella (2024年3月14日). 「NuInsSeg: H&E染色組織学的画像における核インスタンスセグメンテーションのための完全注釈付きデータセット」 . Scientific Data . 11 (1): 295. Bibcode : 2024NatSD..11..295M . doi : 10.1038/s41597-024-03117-2 . ISSN 2052-4463 . PMC 10940572. PMID 38486039 .   
  21. ^ Yoo, Inwan; Yoo, Donggeun; Paeng, Kyunghyun (2019年7月22日) PseudoEdgeNet: ポイント注釈のみを使用した核セグメンテーション、arXiv : 1906.02924
  22. ^ JA Delmerico、P. David、JJ Corso (2011)：「移動ロボットの位置特定と誘導のための建物ファサード検出、セグメンテーション、パラメータ推定」、国際インテリジェントロボットシステム会議、pp. 1632–1639。
  23. ^ a b Liu, Ziyi; Wang, Le; Hua, Gang; Zhang, Qilin; Niu, Zhenxing; Wu, Ying; Zheng, Nanning (2018). 「結合型動的マルコフネットワークによるビデオオブジェクトの発見とセグメンテーションの共同研究」(PDF) . IEEE Transactions on Image Processing . 27 (12): 5840– 5853. Bibcode : 2018ITIP...27.5840L . doi : 10.1109/tip.2018.2859622 . ISSN 1057-7149 . PMID 30059300. S2CID 51867241 .   
  24. ^ a b Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018年5月22日). 「Segment-Tube: フレームごとのセグメンテーションを用いたトリミングされていない動画における時空間的な動作の局在化」 ( PDF) . Sensors . 18 (5): 1657. Bibcode : 2018Senso..18.1657W . doi : 10.3390/s18051657 . ISSN 1424-8220 . PMC 5982167. PMID 29789447 .   
  25. ^ Guo, Dazhou; Pei, Yanting; Zheng, Kang; Yu, Hongkai; Lu, Yuhang; Wang, Song (2020). 「Degraded Image Semantic Segmentation With Dense-Gram Networks」 . IEEE Transactions on Image Processing . 29 : 782– 795. Bibcode : 2020ITIP...29..782G . doi : 10.1109/TIP.2019.2936111 . ISSN 1057-7149 . PMID 31449020. S2CID 201753511 .   
  26. ^ Mesh Flinders (2023年9月11日). 「セマンティックセグメンテーションとは何か？」 . IBM Think . International Business Machines Corporation . 2025年10月21日閲覧。
  27. ^ Yi, Jingru; Wu, Pengxiang; Jiang, Menglin; Huang, Qiaoying; Hoeppner, Daniel J.; Metaxas, Dimitris N. (2019年7月). 「Attentive neural cell instance segmentation」 . Medical Image Analysis . 55 : 228–240 . doi : 10.1016 / j.media.2019.05.004 . PMID 31103790. S2CID 159038604 .  
  28. ^ a bアレクサンダー・キリロフ;彼開明。ロス・ガーシック。カーステン・ローター。ピョートル・ドル（2018）。 「パノプティックセグメンテーション」。arXiv : 1801.00868 [ cs.CV ]。
  29. ^ Batenburg, K J.; Sijbers, J. (2009). 「投影距離最小化による断層画像の適応的閾値設定」.パターン認識. 42 (10): 2297– 2305. Bibcode : 2009PatRe..42.2297B . CiteSeerX 10.1.1.182.8483 . doi : 10.1016/j.patcog.2008.11.027 . 
  30. ^ Batenburg, K J.; Sijbers, J. (2009年6月). 「投影距離最小化による断層画像セグメンテーションのための最適閾値選択」 . IEEE Transactions on Medical Imaging . 28 (5): 676– 686. Bibcode : 2009ITMI...28..676B . doi : 10.1109/tmi.2008.2010437 . PMID 19272989. S2CID 10994501. 2013年5月3日時点のオリジナル(PDF)からのアーカイブ。2012年7月31日閲覧。  
  31. ^ Kashanipour, A.; Milani, N.; Kashanipour, A.; Eghrary, H. (2008年5月). 「ファジールールベース粒子群最適化を用いたロバストな色分類」. 2008年画像信号処理会議. 第2巻. IEEE画像信号処理会議. pp.  110– 114. doi : 10.1109/CISP.2008.770 . ISBN 978-0-7695-3119-9. S2CID  8422475 .
  32. ^ Barghout, Lauren; Sheynin, Jacob (2013). 「実世界シーンの知覚と知覚組織化：コンピュータビジョンからの教訓」 . Journal of Vision . 13 (9): 709. doi : 10.1167/13.9.709 .
  33. ^ Hossein Mobahi; Shankar Rao; Allen Yang; Shankar Sastry; Yi Ma. (2011). 「テクスチャと境界圧縮による自然画像のセグメンテーション」(PDF) . International Journal of Computer Vision . 95 : 86–98 . arXiv : 1006.3679 . CiteSeerX 10.1.1.180.3579 . doi : 10.1007/s11263-011-0444-0 . S2CID 11070572. 2017年8月8日時点のオリジナル(PDF)からアーカイブ。 2011年5月8日閲覧。  
  34. ^ Shankar Rao、Hossein Mobahi、Allen Yang、Shankar Sastry、Yi Ma「 Natural Image Segmentation with Adaptive Texture and Boundary Encoding」 、 Wayback Machineに2016年5月19日アーカイブ、Proceedings of the Asian Conference on Computer Vision (ACCV) 2009、H. Zha、R.-i. Taniguchi、S. Maybank（編）、パートI、LNCS 5994、pp. 135–146、Springer。
  35. ^ Ohlander, Ron; Price, Keith; Reddy, D. Raj (1978). 「再帰領域分割法を用いた画像セグメンテーション」.コンピュータグラフィックスと画像処理. 8 (3): 313– 333. Bibcode : 1978CGIP....8..313O . doi : 10.1016/0146-664X(78)90060-6 .
  36. ^ R. KimmelとAM Bruckstein. https://www.cs.technion.ac.il/~ron/PAPERS/Paragios_chapter2003.pdf、 International Journal of Computer Vision 2003; 53(3):225–243。
  37. ^ R. Kimmel、 https://www.cs.technion.ac.il/~ron/PAPERS/laplacian_ijcv2003.pdf、Geometric Level Set Methods in Imaging, Vision and Graphics（S. Osher、N. Paragios編）の章、Springer Verlag、2003年。ISBN 0387954880
  38. ^ Barghout, Lauren.視覚的タクソメトリックアプローチによる画像セグメンテーション：ファジィ空間タクソンカットを用いた画像セグメンテーションは文脈的に関連性の高い領域を生み出す. Communications in Computer and Information Science (CCIS). Springer-Verlag. 2014
  39. ^ Witold Pedrycz (編集)、Andrzej Skowron (共同編集)、Vladik Kreinovich (共同編集)。グラニュラー コンピューティングのハンドブック。ワイリー 2008
  40. ^ Barghout, Lauren (2014). 『ビジョン：グローバルな概念的文脈が局所的なコントラスト処理を変える』（博士論文 2003年）. 『コンピュータビジョン技術』を追加して更新. Scholars' Press. ISBN 978-3-639-70962-9。
  41. ^ローレン・バーグハウト、ローレンス・リー「知覚情報処理システム」Google Patents
  42. ^ Lindeberg, T.; Li, M.-X. (1997). 「最小記述長近似と相補的接合点手がかりを用いたエッジのセグメンテーションと分類」 .コンピュータビジョンと画像理解. 67 (1): 88– 98. doi : 10.1006/cviu.1996.0510 .
  43. ^ a bデジタル画像処理（2007年、ピアソン）ラファエル・C・ゴンザレス、リチャード・E・ウッズ著
  44. ^ [1] Archived 13 October 2017 at the Wayback Machine Shelia Guberman , Vadim V. Maximov, Alex Pashintsev Gestalt and Image Understanding. GESTALT THEORY 2012, Vol. 34, No.2, 143–166.
  45. ^ R. NockとF. Nielsen、「統計的領域のマージ」、IEEE Transactions on Pattern Analysis and Machine Intelligence、Vol 26、No 11、pp 1452–1458、2004年。
  46. ^ L. Chen、HD Cheng、J. Zhang、「ファジーサブファイバーと地震岩相分類へのその応用」、Information Sciences: Applications、Vol 1、No 2、pp 77–95、1994年。
  47. ^ SL HorowitzとT. Pavlidis、「有向分割および結合手順による画像セグメンテーション」、Proc. ICPR、1974年、デンマーク、pp. 424–433。
  48. ^ SL HorowitzとT. Pavlidis、「ツリートラバーサルアルゴリズムによる画像セグメンテーション」、Journal of the ACM、23 (1976)、pp.368–388。
  49. ^ L. Chen,ラムダ接続セグメンテーションと分割併合セグメンテーションの最適アルゴリズムArchived 10 March 2016 at the Wayback Machine , Chinese J. Computers, 14(1991), pp 321–331
  50. ^カセル、V.;キンメル、R.サピロ、G. (1997)。「測地線アクティブコンター」(PDF)。コンピュータビジョンの国際ジャーナル。22 (1): 61–79 .土井: 10.1023/A:1007979827043。S2CID 406088。 
  51. ^ Dervieux, A. and Thomasset, F. 1979. Raleigh-Taylor不安定性のシミュレーションのための有限要素法. Springer Lect. Notes in Math., 771:145–158.
  52. ^ Dervieux, A. and Thomasset, F. 1981.有限要素法による多流体非圧縮性流れ. Lecture Notes in Physics, 11:158–163.
  53. ^ Osher, Stanley; Sethian, James A (1988). 「曲率依存速度で伝播する波面：ハミルトン・ヤコビ定式化に基づくアルゴリズム」. Journal of Computational Physics . 79 (1): 12– 49. Bibcode : 1988JCoPh..79...12O . CiteSeerX 10.1.1.46.1266 . doi : 10.1016/0021-9991(88)90002-2 . ISSN 0021-9991 .  
  54. ^ S. OsherとN. Paragios著 『画像ビジョンとグラフィックスにおける幾何学的レベルセット法』Springer Verlag、 ISBN 0-387-95488-0、2003年。
  55. ^ James A. Sethian. 「医用画像におけるセグメンテーション」 . 2012年1月15日閲覧。
  56. ^ Forcadel, Nicolas; Le Guyader, Carole; Gout, Christian (2008年7月)、「一般化高速マーチング法：画像セグメンテーションへの応用」、Numerical Algorithms、48 ( 1–3 ): 189– 211、doi : 10.1007/s11075-008-9183-x、S2CID 7467344 
  57. ^ Chan, TF; Vese, L. (2001). 「エッジのないアクティブ輪郭」. IEEE Transactions on Image Processing . 10 (2): 266– 277. Bibcode : 2001ITIP...10..266C . doi : 10.1109/83.902291 . PMID 18249617. S2CID 7602622 .  
  58. ^ David MumfordとJayant Shah (1989):区分的に滑らかな関数による最適近似とそれに伴う変分問題、純粋応用数学に関する通信、pp 577–685、第42巻、第5号
  59. ^ Jianbo ShiとJitendra Malik (2000)：「正規化カットと画像セグメンテーション」、 IEEE Transactions on Pattern Analysis and Machine Intelligence、pp 888–905、Vol. 22、No. 8
  60. ^ Leo Grady (2006):「画像セグメンテーションのためのランダムウォーク」、 IEEE Transactions on Pattern Analysis and Machine Intelligence、pp. 1768–1783、Vol. 28、No. 11
  61. ^ Z. WuとR. Leahy (1993)：：理論と画像セグメンテーションへの応用」IEEE Transactions on Pattern Analysis and Machine Intelligence、pp. 1101–1113、Vol. 15、No. 11
  62. ^ Leo GradyとEric L. Schwartz (2006):「画像セグメンテーションのための等周グラフ分割」Wayback Machineに2011年7月19日アーカイブ、 IEEE Transactions on Pattern Analysis and Machine Intelligence、pp. 469–475、Vol. 28、No. 3
  63. ^ CT Zahn (1971):「ゲシュタルトクラスターの検出と記述のためのグラフ理論的手法」、 IEEE Transactions on Computers、pp. 68–86、Vol. 20、No. 1
  64. ^ S. Geman および D. Geman (1984)：「確率的緩和、ギブス分布および画像のベイズ復元」、IEEE Transactions on Pattern Analysis and Machine Intelligence、pp. 721–741、Vol. 6、No. 6。
  65. ^ A. BoumanとM. Shapiro (2002)：「ベイズ画像セグメンテーションのためのマルチスケールランダムフィールドモデル」、IEEE Transactions on Image Processing、pp. 162–177、Vol. 3。
  66. ^ J. Liu および YH Yang (1994)：「マルチ解像度カラー画像セグメンテーション」、IEEE Transactions on Pattern Analysis and Machine Intelligence、pp. 689–700、Vol. 16。
  67. ^ S. Vicente、V. Kolmogorov、C. Rother (2008): 「接続性事前分布を用いたグラフカットベースの画像セグメンテーション」、CVPR
  68. ^ Corso, Z. Tu, A. Yuille (2008): 「グラフシフトアルゴリズムによるMRFラベリング」、コンビナトリアル画像解析に関する国際ワークショップの議事録
  69. ^ BJ FreyとD. MacKayan (1997):「革命：サイクルを持つグラフにおける信念伝播」、ニューラル情報処理システム（NIPS）の議事録
  70. ^ Staib, LH; Duncan, JS (1992). 「パラメトリック変形モデルによる境界探索」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 14 (11): 1061– 1075. Bibcode : 1992ITPAM..14.1061S . doi : 10.1109/34.166621 . ISSN 0162-8828 . 
  71. ^ Witkin, AP「スケール空間フィルタリング」、Proc. 8th Int. Joint Conf. Art. Intell.、カールスルーエ、ドイツ、1019–1022、1983年。
  72. ^ A. Witkin、「スケール空間フィルタリング：マルチスケール記述への新しいアプローチ」、Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing ( ICASSP )、vol. 9、サンディエゴ、カリフォルニア州、1984年3月、pp. 150–153。
  73. ^ケーンデリンク、ヤン「イメージの構造」、生物サイバネティクス、50:363–370、1984
  74. ^ Lifshitz, L. および Pizer, S.: 強度極値に基づく画像セグメンテーションに対するマルチ解像度階層的アプローチ、IEEE Transactions on Pattern Analysis and Machine Intelligence、12:6、529–540、1990 年。
  75. ^ Lindeberg, T.: スケールスペースプライマルスケッチによる顕著な塊状画像構造とそのスケールの検出:注目の焦点のための方法、International Journal of Computer Vision、11(3)、283–318、1993。
  76. ^リンデバーグ、トニー、「コンピュータビジョンにおけるスケールスペース理論」、クルーワーアカデミックパブリッシャーズ、1994年、 ISBN 0-7923-9418-6
  77. ^ Gauch, J. および Pizer, S.: グレースケール画像における隆起部と谷部の多重解像度解析、IEEE Transactions on Pattern Analysis and Machine Intelligence、15:6 (1993 年 6 月)、635–646 ページ、1993 年。
  78. ^ Olsen, O. および Nielsen, M.:マルチスケール勾配振幅ウォーターシェッドセグメンテーション, Proc. of ICIAP 97, Florence, Italy, Lecture Notes in Computer Science, pages 6–13. Springer Verlag, September 1997.
  79. ^ Dam, E., Johansen, P., Olsen, O. Thomsen,, A. Darvann, T., Dobrzenieck, A., Hermann, N., Kitai, N., Kreiborg, S., Larsen, P., Nielsen, M.:「臨床使用におけるインタラクティブなマルチスケールセグメンテーション」、European Congress of Radiology 2000。
  80. ^ Vincken, KL; Koster, ASE; Viergever, MA (1997). 「確率的マルチスケール画像セグメンテーション」. IEEE Transactions on Pattern Analysis and Machine Intelligence . 19 (2): 109– 120. Bibcode : 1997ITPAM..19..109V . doi : 10.1109/34.574787 .
  81. ^ M. TabbとN. Ahuja、「統合エッジ・領域検出による教師なしマルチスケール画像セグメンテーション」、IEEE Transactions on Image Processing、Vol. 6、No. 5、642–655、1997年。Wayback Machineで2011年7月20日アーカイブ
  82. ^ Akbas, Emre; Ahuja, Narendra (2010). 「ランプ不連続性からセグメンテーションツリーへ」 .コンピュータビジョン – ACCV 2009 . コンピュータサイエンス講義ノート. 第5994巻. pp.  123– 134. doi : 10.1007/978-3-642-12307-8_12 . ISBN 978-3-642-12306-1。
  83. ^ C. Undeman および T. Lindeberg (2003)「確率的異方性拡散とマルチスケールウォーターシェッドを使用した MRI 脳画像の完全自動セグメンテーション」、Proc. Scale-Space'03、スコットランド、スカイ島、Springer Lecture Notes in Computer Science、第 2695 巻、641 ～ 656 ページ。
  84. ^ Florack, L. および Kuijper, A.: スケール空間画像の位相構造、Journal of Mathematical Imaging and Vision、12:1、65–79、2000 年。
  85. ^ビジャウイ、A.;ルエ、F. (1995)。 「マルチスケールビジョンモデル」。信号処理。46 (3): 345.土井: 10.1016/0165-1684(95)00093-4。
  86. ^ Barghout, Lauren. 視覚的タクソメトリックアプローチによる画像セグメンテーションにおけるファジー空間タクソンカットを用いた文脈的関連領域の抽出. IPMU 2014, Part II. A. Laurent et al (Eds.) CCIS 443, pp 163–173. Springer International Publishing Switzerland
  87. ^ Barghout, Lauren (2014). 『ビジョン：グローバルな知覚的文脈が局所的なコントラスト処理をどのように変化させるか』（博士論文 2003年）. 『コンピュータビジョン技術』を追加して更新. Scholars Press. ISBN 978-3-639-70962-9。
  88. ^ Mahinda Pathegama & Ö Göl (2004):「エッジベース画像セグメンテーションのためのエッジエンドピクセル抽出」、 Transactions on Engineering, Computing and Technology、第2巻、pp 213–216、ISSN 1305-5313
  89. ^ Johnson, John L. (1994年9月). 「パルス結合ニューラルネット：画像の移動、回転、スケール、歪み、および強度信号の不変性」.応用光学. 33 (26). OSA: 6239– 6253. Bibcode : 1994ApOpt..33.6239J . doi : 10.1364/AO.33.006239 . PMID 20936043 . 
  90. ^ Long, Jonathan; Shelhamer, Evan; Darrell, Trevor (2015).セマンティックセグメンテーションのための完全畳み込みネットワーク. IEEEコンピュータビジョンおよびパターン認識会議論文集. pp.  3431– 3440.
  91. ^ Ronneberger, Olaf; Fischer, Philipp; Brox, Thomas (2015). 「U-Net: 生物医学画像セグメンテーションのための畳み込みネットワーク」. arXiv : 1505.04597 [ cs.CV ].
  92. ^ビセンテ、サラ;ロザー、カールステン。コルモゴロフ、ウラジミール (2011)。 「オブジェクトの共分割」。CVPR 2011。 IEEE。 pp.  2217–2224 . doi : 10.1109/cvpr.2011.5995530。ISBN 978-1-4577-0394-2。
  93. ^ Saygin, ZM, Osher, DE, Augustinack, J, Fischl, B, and Gabrieli, JDE.:確率的トラクトグラフィーを用いたヒト扁桃体核の連結性に基づくセグメンテーション。Neuroimage , 56:3, pp. 1353–61, 2011.
  94. ^ Menke, RA, Jbabdi, S, Miller, KL, Matthews, PM および Zarei, M.:ヒトの黒質の連結性に基づくセグメンテーションとパーキンソン病におけるその影響、Neuroimage, 52:4, pp. 1175–80, 2010.

参考文献

「 https://en.wikipedia.org/w/index.php?title=Image_segmentation&oldid=1335731537」より取得