ブロックマッチングと3Dフィルタリング

ブロックマッチングと3Dフィルタリング(BM3D)は、主に画像のノイズ低減に用いられる3Dブロックマッチングアルゴリズムです。[ 1 ] これは非局所平均法の拡張の一つです。[ 2 ] BM3Dには、ハードスレッショルド処理とウィーナーフィルタ処理という2つのカスケードがあり、どちらもグループ化、協調フィルタリング、集約という要素から構成されています。このアルゴリズムは、変換サイトにおける拡張表現に依存しています。[ 3 ]

左: ISO800で撮影したRAW画像から切り取ったオリジナル画像、中央: bm3d-gpu(シグマ=10、2段階)を使用してノイズ除去、右: darktable 2.4.0のプロファイルドノイズ(非局所平均とウェーブレットブレンド)を使用してノイズ除去

方法

グループ化

画像フラグメントは類似性に基づいてグループ化されますが、標準的なk平均法クラスタリングなどのクラスター分析手法とは異なり、画像フラグメントは必ずしも互いに素であるとは限りません。このブロックマッチングアルゴリズムは計算負荷が低く、後の集約ステップで役立ちます。ただし、フラグメントのサイズは同じです。参照フラグメントとの相違が指定されたしきい値を下回ると、フラグメントはグループ化されます。このグループ化手法はブロックマッチングと呼ばれ、通常はデジタルビデオの異なるフレームにまたがる類似グループをグループ化するために使用されます。一方、BM3Dは単一フレーム内のマクロブロックをグループ化する場合があります。グループ内のすべての画像フラグメントは積み重ねられ、3Dの円筒形のような形状を形成します。

協調フィルタリング

フィルタリングはフラグメントグループごとに実行されます。d+1{\displaystyle d+1} 次元線形変換が適用され、その後ウィーナーフィルタリングなどの変換領域縮小が行われ、その後線形変換が反転されてすべての(フィルタリングされた)フラグメントが再現されます。

集約

画像は元の2次元形式に戻されます。重なり合う画像断片はすべて重み平均化され、ノイズを除去しながらも明確な信号を保持します。

拡張機能

カラー画像

RGB画像はグレースケール画像とほぼ同様に処理できます。RGB画像には輝度-色差変換を適用する必要があります。その後、有用な情報の大部分を含み、SNRも高い輝度チャンネルでグループ化を行います。このアプローチは、色差チャンネルのノイズが輝度チャンネルのノイズと強く相関しているため有効です。また、グループ化に必要な計算時間の約半分を占めるため、計算時間を約3分の1に短縮できます。

ぼかし除去

BM3Dアルゴリズムは、2つの目的関数のナッシュ均衡バランスを使用して分離されたぼかし除去とノイズ除去を実行するように拡張されました(IDD-BM3D)。 [ 4 ]

畳み込みニューラルネットワーク

畳み込みニューラルネットワークを統合したアプローチが提案されており、より良い結果を示している(ただし実行時間は遅い)。[ 5 ] MATLABコードは研究目的で公開されている。[ 6 ]

実装

参考文献

  1. ^ Dabov, Kostadin; Foi, Alessandro; Katkovnik, Vladimir; Egiazarian, Karen (2007年7月16日). 「スパース3D変換領域協調フィルタリングによる画像ノイズ除去」. IEEE Transactions on Image Processing . 16 (8): 2080– 2095. Bibcode : 2007ITIP...16.2080D . CiteSeerX 10.1.1.219.5398  . doi : 10.1109 /TIP.2007.901238 . PMID  17688213. S2CID  1475121 .
  2. ^マンホン、ホセ V.カルボネル・カバレロ、ホセ。ルル、フアン・J.ガルシア=マルティ、グラシアン。マルティ・ボンマティ、ルイス。ロブレス、モントセラト (2008-08-01)。「非局所的手段を使用した MRI ノイズ除去」医用画像解析12 (4): 514–523土井: 10.1016/j.media.2008.02.004ISSN 1361-8415PMID 18381247  
  3. ^ Maggioni, M.; Katkovnik, V.; Egiazarian, K.; Foi, A. (2013年1月). 「ボリュームデータのノイズ除去と再構成のための非局所変換領域フィルタ」. IEEE Transactions on Image Processing . 22 (1): 119– 133. Bibcode : 2013ITIP...22..119M . doi : 10.1109/TIP.2012.2210725 . ISSN 1057-7149 . PMID 22868570. S2CID 1295558 .   
  4. ^ Danielyan, Aram; Katkovnik , Vladimir; Egiazarian, Karen (2011年6月30日). 「BM3Dフレームと変分画像ぼかし除去」. IEEE Transactions on Image Processing . 21 (4): 1715–28 . arXiv : 1106.6180 . Bibcode : 2012ITIP...21.1715D . doi : 10.1109/TIP.2011.2176954 . PMID 22128008. S2CID 11204616 .  
  5. ^ Ahn, Byeongyong; Ik Cho, Nam (2017年4月3日). 「画像ノイズ除去のためのブロックマッチング畳み込みニューラルネットワーク」. arXiv : 1704.00524 [視覚とパターン認識].
  6. ^ "BMCNN-ISPL" .ソウル国立大学. 2018年1月3日閲覧
  7. ^ 「LASIP - 法的通知」タンペレ工科大学(TUT)2018年1月2日閲覧
  8. ^ Lebrun, Marc (2012年8月8日). 「BM3D画像ノイズ除去法の分析と実装」 . Image Processing on Line . 2 : 175–213 . doi : 10.5201/ipol.2012.l-bm3d .