ベイヤーフィルター
画像センサーのピクセルアレイ上のカラーフィルターのベイヤー配列
センサーのプロファイル/断面

ベイヤーフィルタモザイクは、RGBカラーフィルタを光センサーの正方格子上に配置したカラーフィルタアレイ（CFA）である。このカラーフィルタの特殊な配置は、デジタルカメラやビデオカメラで使用されるほとんどのシングルチップデジタル画像センサーで、カラー画像を生成するために使用されている。フィルタパターンは緑、赤、青の4分の1ずつで構成されており、BGGR、RGBG、[ 1 ] [ 2 ] GRBG、[ 3 ] 、 RGGBとも呼ばれる。[ 4 ]

この方式は、イーストマン・コダック社の発明者であるブライス・ベイヤーにちなんで名付けられました。ベイヤーは、組織的ディザリングで使用される再帰的に定義された行列でも知られています。

ベイヤーフィルターの代替としては、色や配列の様々な変更や、カラーコサイトサンプリング、Foveon X3センサー、ダイクロイックミラー、透明回折フィルターアレイなどの全く異なる技術があります。 [ 5 ]

説明

  1. オリジナルシーン
  2. ベイヤーフィルタを備えた120×80ピクセルセンサーの出力
  3. ベイヤーフィルタの色で色分けされた出力
  4. 欠落した色情報を補間して再構成した画像
  5. 比較用の120×80ピクセルのフルRGBバージョン（例：フィルムスキャン、Foveon、またはピクセルシフト画像が表示される場合があります）

ブライス・ベイヤーの1976年の特許（米国特許第3,971,065号[ 6 ]）では、緑の光センサーを輝度感度素子、赤と青のものを彩度感度素子と呼んでいます。彼は、人間の目の生理機能を模倣するために、赤や青の2倍の緑の素子を使用しました。人間の網膜の輝度知覚は、日光下での視覚において、緑の光に最も敏感なM錐体細胞とL錐体細胞を組み合わせて使用​​します。これらの素子は、センサー素子、センセル、ピクセルセンサー、または単にピクセルと呼ばれ、これらによって感知されたサンプル値は、補間後に画像ピクセルになります。ベイヤーが特許を登録したとき、彼はまた、反対色の別のセットであるシアン、マゼンタ、イエローの組み合わせを使用することを提案しました。この配置は、必要な染料が存在しなかったため、当時は非現実的でした。デジタルCMYセンサーは一部の古いデジタルカメラに搭載されていますが[ 7 ]、現代の民生用デジタルカメラはすべてRGB感度センサーを使用しています。 CMY染料の利点は光吸収特性に優れていることであるが[ 8 ]、発光ディスプレイに必要なRGB波長への忠実度が低いという欠点があった。[ 9 ] [ 10 ]

ベイヤーフィルタカメラの生の出力は、ベイヤーパターン画像と呼ばれます。各ピクセルは3色のうち1色のみを記録するようにフィルタリングされているため、各ピクセルのデータだけでは赤、緑、青のそれぞれの値を完全に特定することはできません。フルカラー画像を得るには、様々なデモザイクアルゴリズムを用いて、各ピクセルの赤、緑、青の完全な値のセットを補間します。これらのアルゴリズムは、対応する色の周囲のピクセルを利用して、特定のピクセルの値を推定します。

異なるアルゴリズムは異なる量の計算能力を必要とし、その結果、最終的な画像の品質は異なります。これはカメラ内で実行され、JPEGまたはTIFF画像を生成するか、またはカメラの外でセンサーから直接生データを使用して行われます。カメラプロセッサの処理能力には限界があるため、多くの写真家はこれらの操作をパソコンで手動で行うことを好みます。カメラが安価であるほど、これらの機能に影響を与える機会は少なくなります。プロ用カメラでは、画像補正機能がまったくないか、オフにすることができます。Raw形式で記録すると、手動でデモザイクアルゴリズムを選択し、変換パラメータを制御する機能が提供され、これはコンシューマー写真撮影だけでなく、さまざまな技術的および測光的問題の解決にも使用されます。[ 11 ]

デモザイク

デモザイク処理は様々な方法で実行できます。単純な方法としては、近傍の同じ​​色のピクセルの色値を補間する方法があります。例えば、チップに画像を露光すると、各ピクセルを読み取ることができます。緑のフィルターがかかったピクセルは、緑の成分を正確に測定します。このピクセルの赤と青の成分は、近傍のピクセルから取得されます。緑のピクセルの場合、2つの赤の近傍ピクセルを補間して赤の値を算出し、同様に2つの青の近傍ピクセルを補間して青の値を算出します。

このシンプルなアプローチは、色が一定または滑らかなグラデーションの領域ではうまく機能しますが、画像内のシャープなエッジ部分では特に顕著な、色や明るさの急激な変化がある領域では、色のにじみなどのアーティファクトが発生する可能性があります。そのため、他のデモザイク手法では、高コントラストのエッジを識別し、エッジに沿ってのみ補間を行い、エッジを横切る補間は行いません。

他のアルゴリズムは、画像内の領域の色は光条件が変化しても比較的一定であり、各色チャンネルは互いに高い相関関係にあるという仮定に基づいています。そのため、最初に緑チャンネルを補間し、次に赤チャンネル、そして最後に青チャンネルを補間することで、赤と緑、青と緑の色比が一定になるようにします。画像の内容について異なる仮定を立て、この仮定に基づいて欠損している色値を計算しようとする手法もあります。

遺物

デジタルセンサーの解像度限界に近い微細なディテールを持つ画像は、デモザイクアルゴリズムに問題を引き起こし、モデルとは異なる結果をもたらす可能性があります。最も頻繁に発生するアーティファクトはモアレで、繰り返しパターン、色アーティファクト、または非現実的な迷路のようなパターンに配置されたピクセルとして現れることがあります。

偽色アーティファクト

カラーフィルタアレイ（CFA）補間またはデモザイク処理でよく見られる、しかし望ましくないアーティファクトの一つに、偽色と呼ばれるものがあります。このアーティファクトは典型的にはエッジに沿って現れ、エッジに沿ってではなくエッジを横切って誤って補間された結果、急激で不自然な色の変化が生じます。この偽色を防止および除去するための様々な方法があります。デモザイク処理では、滑らかな色相遷移補間を使用することで、最終画像に偽色が現れないようにします。しかし、デモザイク処理後に偽色を除去できるアルゴリズムも存在します。これらのアルゴリズムには、赤と青の色平面を補間するためのより堅牢なデモザイク処理アルゴリズムを使用しながら、画像から偽色アーティファクトを除去できるという利点があります。

偽色のモザイク除去アーティファクトを示す 3 つの画像。

ジッパーアーティファクト

ジッパー効果はCFAデモザイク処理のもう一つの副作用で、主にエッジに沿って発生し、ジッパー効果として知られています。簡単に言うと、ジッパー効果とは、エッジに沿ってオン/オフパターンで発生するエッジブラーの別名です。この効果は、デモザイク処理アルゴリズムがエッジ、特に赤と青のプレーン上のピクセル値を平均化することで発生し、特徴的なブラーを生み出します。前述のように、この効果を防​​ぐ最良の方法は、画像のエッジを横切るのではなく、エッジに沿って補間する様々なアルゴリズムです。パターン認識補間、適応型カラープレーン補間、方向重み付け補間はすべて、画像内で検出されたエッジに沿って補間することでジッパー効果を防ごうとします。

CFAデモザイク処理のジッパーアーティファクトを示す3つの画像

しかし、各受光素子ですべての色を捉え、識別できる理論上完璧なセンサーであっても、モアレなどのアーティファクトが発生する可能性があります。これは、本来は連続的な信号を離散的な間隔や位置でサンプリングするシステムでは避けられない結果です。そのため、ほとんどの写真用デジタルセンサーには、光学ローパスフィルター（OLPF）またはアンチエイリアシング（AA）フィルターと呼ばれるフィルターが組み込まれています。これは通常、センサーの直前に配置される薄い層で、センサーの解像度よりも細かい、問題となる可能性のある細部を効果的にぼかす働きをします。

変更点

ベイヤーフィルターは、一般向けデジタルカメラではほぼ普遍的に採用されています。代替フィルターとしては、CYGMフィルター（シアン、イエロー、グリーン、マゼンタ）やRGBEフィルター（レッド、グリーン、ブルー、エメラルド）があり、これらも同様のデモザイク処理が必要です。Foveon X3センサー（赤、緑、青のセンサーをモザイクではなく垂直に重ね合わせたもの）と、3つの独立したCCD（各色に1つずつ）の配置では、デモザイク処理は不要です。

パンクロマティック細胞

3つの新しいコダックRGBWフィルターパターン

2007年6月14日、イーストマン・コダックはベイヤーフィルターの代替品として、可視光の全波長に感度を持ち、センサーに当たる光をより多く集めるパンクロマティックセルを使用することで、デジタルカメラのイメージセンサーの光に対する感度を高めるカラーフィルターパターンを発表しました。[ 12 ]同社はいくつかのパターンを提示していますが、ベイヤーパターンの2×2単位ほど小さい繰り返し単位を持つものはありません。

以前のRGBWフィルターパターン

2007年にエドワード・T・チャンが提出した別の米国特許では、「カラーフィルターは、赤、青、緑、透明のピクセルを1つずつ含む2×2のピクセルブロックからなるパターンを持つ」センサーが特許出願されており、赤外線感度を含めた構成で全体的な感度を高めることを意図している。[ 13 ] コダックの特許出願の方が早かった。[ 14 ]

このようなセルはこれまで「 CMYW」（シアン、マゼンタ、イエロー、ホワイト）[ 15 ]や「RGBW」（レッド、グリーン、ブルー、ホワイト）[ 16 ]のセンサーで使用されてきたが、コダックは新しいフィルターパターンをまだそれらと比較していない。

富士フイルム「EXR」カラーフィルターアレイ

EXRセンサー

富士フイルムのEXRカラーフィルターアレイは、CCD（スーパーCCD）とCMOS（BSI CMOS）の両方で製造されています。スーパーCCDと同様に、フィルター自体は45度回転しています。従来のベイヤーフィルター設計とは異なり、常に2つの隣接するフォトサイトが同じ色を検出します。このタイプのアレイの主な目的は、隣接する2つのフォトサイトを統合することでセンサー自体の光に対する「感度」を高めるピクセル「ビニング」に貢献することです。もう1つの目的は、センサーが2つの異なる露出を記録し、それらを統合することで、より広いダイナミックレンジの画像を生成することです。基盤となる回路には2つの読み出しチャネルがあり、センサーの交互の行から情報を取得します。その結果、フォトサイトの半分ごとに異なる露光時間を持つ、2つのインターリーブセンサーのように動作します。フォトサイトの半分は意図的に露出不足にすることで、シーンの明るい部分を完全に捉えることができます。この保持されたハイライト情報は、同様の色のフォトサイトの近接した間隔を利用して、「完全な」露出を記録しているセンサーのもう半分からの出力とブレンドすることができます。

富士フイルム「X-Trans」フィルター

X-Transセンサーで使用される6×6の繰り返しグリッド

多くの富士フイルムXシリーズカメラに搭載されている富士フイルムX-Trans CMOSセンサーは、ベイヤーフィルターよりも色モアレ耐性に優れているとされており[ 17 ]、そのためアンチエイリアシングフィルターなしで製造できます。これにより、このセンサーを搭載したカメラは、同じメガピクセル数でより高い解像度を実現できます。また、新しい設計では、各ラインに赤、青、緑のピクセルを配置することで、偽色の発生を低減するとされています。これらのピクセルの配置により、よりフィルムのような粒状感が得られるとも言われています。

カスタムパターンの主な欠点の1つは、Adobe Photoshop Lightroomのようなサードパーティ製のRAW処理ソフトウェアで完全にサポートされていない可能性があることです。 [ 18 ]改良の追加には数年かかりました。[ 19 ]

クアッドベイヤー

ソニーは、2014年に発売されたiPhone 6のフロントカメラで初めて搭載されたクアッドベイヤーカラーフィルターアレイを導入しました。クアッドベイヤーはベイヤーフィルターに似ていますが、隣接する2×2ピクセルは同じ色で、4×4パターンは4×青、4×赤、8×緑を特徴としています。 [ 20 ]暗いシーンの場合、信号処理により、基本的に大きなピクセルのように各2×2グループのデータを組み合わせることができます。明るいシーンでは、信号処理によりクアッドベイヤーを従来のベイヤーフィルターに変換して、より高い解像度を実現できます。[ 21 ]クアッドベイヤーのピクセルは、長時間積分と短時間積分で動作してシングルショットHDRを実現し、ブレンディングの問題を軽減できます。[ 22 ]クアッドベイヤーは、サムスンではテトラセル、オムニビジョンでは4セル、[ 21 ] [ 23 ]クアルコムではクアッドCFA（QCFA）とも呼ばれています。[ 24 ]

2019年3月26日、Huawei P30シリーズはRYYB Quad Bayerを搭載し、4×4パターン（4×青、4×赤、8×黄）を搭載して発表されました。[ 25 ]

ノナセル

2020年2月12日、ノナセルCFAを搭載したSamsung Galaxy S20 Ultraが発表されました。ノナセルCFAはベイヤーフィルターに似ていますが、隣接する3×3ピクセルは同じ色で、6×6パターンは青9×赤9×緑18×で構成されています。[ 26 ]

参照

参考文献

ブライス・ベイヤーの1976年のベイヤーパターンフィルタモザイクに関する特許の表紙。ベイヤーの用語「輝度感度要素」と「色度感度要素」を示している。

注記

  1. ^ Jeff Mather (2008). 「RGBGにL*を追加する」 . 2011年7月13日時点のオリジナルよりアーカイブ。2011年2月18日閲覧。
  2. ^ dpreview.com (2000). 「ソニー、3機種の新デジタルカメラを発表」 2011年7月21日時点のオリジナルよりアーカイブ。
  3. ^マーガレット・ブラウン (2004). 『Advanced Digital Photography』 . Media Publishing. ISBN 0-9581888-5-8。
  4. ^トーマス・マシュケ (2004)。Digitale Kamiratechnik: 理論と実践におけるデジタルカメラの技術。スプリンガー。ISBN 3-540-40243-8. 2019年1月9日時点のオリジナルよりアーカイブ。2016年9月23日閲覧。
  5. ^ Wang, Peng; Menon, Rajesh (2015年10月29日). 「透明回折フィルタアレイと計算光学による超高感度カラーイメージング」 . Optica . 2 (11): 933. Bibcode : 2015Optic...2..933W . doi : 10.1364/optica.2.000933 .
  6. ^ 「特許US3971065 - カラーイメージングアレイ - Google Patents」。2013年8月11日時点のオリジナルよりアーカイブ。2013年4月23日閲覧。
  7. ^ 「Nikon Coolpix 3500 レビュー」。2016年6月29日時点のオリジナルよりアーカイブ。2025年12月20日閲覧。
  8. ^ Kuo, An-Li; Wang, Pohsiang; Liu, Hao-Wei; Tsai, Wei-Lung; Hsu, Chia-Ning; Lai, Chien-Wen; Chang, Yu-Chi; Wu, Ching-Chiang; Wu, Ken (2023). 「CMYカラーフィルターを用いた0.8 μm CMOSイメージセンサーの色性能」. Electronic Imaging . 35 (6): 343-1 – 343-3 . doi : 10.2352/EI.2023.35.6.ISS-343 .
  9. ^ He, Xin; Liu, Yajing; Beckett, Paul; Uddin, Hemayet; Nirmalathas, Ampalavanapillai; Unnithan, Ranjith R. (2021). 「CMOSイメージセンサー上に統合されたナノロッドフィルターモザイクを使用したCMYカメラ」. OSA Continuum . 4 : 229– 238. doi : 10.1364/OSAC.413709 .
  10. ^ Cha, Sungho; Cho, Suhyun; Yu, Daeil; Lee, Minhyuk; Lee, Kaeul; Gong, Byoungho; Lee, Sang-Woo; Kim, Sung-Su; Yim, Joonseo (2022). 「CMYカラーフィルタを搭載したCMOSイメージセンサの画質性能」. Electronic Imaging . 34 (9): 195-1 – 195-4 . doi : 10.2352/EI.2022.34.9.IQSP-195 .
  11. ^ Cheremkhin, PA, Lesnichii, VV & Petrov, NV (2014). 「ベイヤーフィルターセンサーを用いたDSLRカメラのスペクトル特性の利用」 . Journal of Physics: Conference Series . 536 (1) 012021. Bibcode : 2014JPhCS.536a2021C . doi : 10.1088/1742-6596/536/1/012021 .{{cite journal}}: CS1 maint: 複数の名前: 著者リスト (リンク)
  12. ^ John Compton and John Hamilton (2007-06-14). 「カラーフィルターアレイ2.0」 . A Thousand Nerds: A Kodak blog . 2007年7月20日時点のオリジナルよりアーカイブ。 2011年2月25日閲覧。
  13. ^ 「米国特許公開20070145273「高感度赤外線カラーカメラ」」2017年2月22日時点のオリジナルよりアーカイブ。
  14. ^ 「米国特許出願20070024879「カラーおよびパンクロマティックピクセルの処理」. 2016年12月21日時点のオリジナルよりアーカイブ。
  15. ^ LJ d'Luna; et al. (1989). 「カラーイメージセンサー用デジタルビデオ信号ポストプロセッサ」. 1989 Proceedings of the IEEE Custom Integrated Circuits Conference . Vol. 1989. pp. 24.2/1–24.2/4. doi : 10.1109/CICC.1989.56823 . S2CID 61954103 .赤、緑、青（RGB）、またはシアン、マゼンタ、黄、白（CMYW）の様々な色の組み合わせで、多様なCFAパターンを使用できます。 
  16. ^杉山敏信、米国特許出願20050231618、「画像捕捉装置」、 2005年3月30日出願、 Wayback Machineで
  17. ^ 「富士フイルム X-Transセンサーテクノロジー」 。 2012年4月9日時点のオリジナルよりアーカイブ。2012年3月15日閲覧。
  18. ^ Diallo, Amadou. 「AdobeのFujifilm X-Transセンサー処理をテスト」 dpreview.com 。 2016年10月21日時点のオリジナルよりアーカイブ。 2016年10月20日閲覧。
  19. ^ 「Adobe、Lightroom CCアップデートでX-Trans処理を強化：さらなる改善を約束」 Thomas Fitzgerald Photography Blog、2015年6月17日。2016年10月21日時点のオリジナルよりアーカイブ。 2016年10月20日閲覧。
  20. ^ 「ソニー、業界最高有効48メガピクセルのスマートフォン向け積層型CMOSイメージセンサーを発売」ソニーグローバル - ソニーグローバル本社. 2019年9月5日時点のオリジナルよりアーカイブ。 2019年8月16日閲覧。
  21. ^ a b「Tetracellが昼夜を問わず鮮明な写真を実現する方法 | Samsung Semiconductor Global Website」www.samsung.com。2019年8月16日時点のオリジナルよりアーカイブ。2019年8月16日閲覧。
  22. ^ “IMX294CJK | ソニーセミコンダクタソリューションズ” .ソニーセミコンダクタソリューションズ株式会社. 2019年8月16日時点のオリジナルよりアーカイブ。 2019年8月16日閲覧。
  23. ^ 「製品リリース | ニュースとイベント | OmniVision」www.ovt.com。 2019年8月16日時点のオリジナルよりアーカイブ。 2019年8月16日閲覧。
  24. ^米国出願番号20200280659、「クワッドカラーフィルタアレイカメラセンサー構成」 
  25. ^ 「パート4：非ベイヤーCFA、位相差オートフォーカス（PDAF） | TechInsights」techinsights.com . 2019年8月16日時点のオリジナルよりアーカイブ。2019年8月16日閲覧。
  26. ^ 「Samsungの108Mp ISOCELL Bright HM1は、業界初のノナセル技術により、より明るい超高解像度画像を実現」 news.samsung.com 。 2020年2月12日時点のオリジナルよりアーカイブ。 2020年2月14日閲覧。
「 https://en.wikipedia.org/w/index.php?title=ベイヤーフィルター&oldid =1328607619」より取得