イベントカメラ
Prophesee イベントカメラ。
Prophesee イベントカメラ。

イベントカメラは、ニューロモルフィックカメラ[ 1 ] 、シリコン網膜[ 2 ]、ダイナミックビジョンセンサー[ 3 ]とも呼ばれ、局所的な明るさの変化に反応する画像センサーです。イベントカメラは、従来の（フレーム）カメラのようにシャッターを用いて画像を撮影しません。イベントカメラ内の各ピクセルは独立して非同期的に動作し、明るさの変化が発生した時点でそれを報告し、それ以外の場合は何もしません。

機能説明

イベントカメラのピクセルは、明るさの変化が発生すると、それぞれ独立して反応します。[ 4 ]各ピクセルは基準となる明るさレベルを記憶し、それを現在の明るさレベルと継続的に比較します。明るさの差が閾値を超えると、そのピクセルは基準レベルをリセットし、イベントを生成します。イベントとは、ピクセルアドレスとタイムスタンプを含む離散パケットです。イベントには、センサーモデルに応じて、明るさの変化の極性（増加または減少）や、照度の瞬間測定値が含まれる場合もあります。 [ 5 ]このように、イベントカメラは、シーンの照度変化によってトリガーされる非同期のイベントストリームを出力します。

イベントカメラと従来のカメラによって生成されたデータの比較。

イベントカメラは通常、マイクロ秒の時間分解能、120 dB のダイナミックレンジ、フレームカメラよりも露出不足/露出過多およびモーションブラーが少ない[ 4 ] [ 6 ]タイムスタンプを報告します。これにより、オブジェクトとカメラの動き (オプティカルフロー) をより正確に追跡できます。イベントカメラはグレースケール情報を生成します。当初 (2014 年) は、解像度は 100 ピクセルに制限されていました。その後、2019 年に 640 x 480 の解像度に達しました。個々のピクセルが独立して発火するため、イベントカメラは、ニューロモルフィックコンピューティングなどの非同期コンピューティングアーキテクチャとの統合に適しているようです。ピクセルの独立性により、これらのカメラは、明るい領域と薄暗い領域のあるシーンに、それらを平均化することなく対処できます。[ 7 ] カメラはマイクロ秒の解像度でイベントを報告しますが、実際の時間分解能 (または、センシングの帯域幅) は、信号のコントラスト、照明条件、およびセンサーの設計に応じて、数十マイクロ秒から数ミリ秒のオーダーであることに注意することが重要です。[ 8 ]

典型的なイメージセンサーの特性
センサー 動的

範囲（dB）

同等

フレームレート（fps）

空間

解像度（MP）

人間の目 30～40歳 200～300* -
ハイエンドデジタル一眼レフカメラ（ニコンD850） 44.6 [ 9 ]120 2～8
超高速度カメラ（ファントムv2640）[ 10 ]64 12,500 0.3～4
イベントカメラ[ 11 ]120 50,000～300,000** 0.1～1

* 人間の知覚の時間分解能（認知処理時間を含む）を示します。** 変化認識率を指し、信号やセンサーモデルによって異なります。

種類

時間的コントラストセンサー（DVS [ 4 ]（ダイナミックビジョンセンサー）やsDVS [ 12 ]（高感度DVS）など）は、極性（明るさの増加または減少）を示すイベントを生成するのに対し、時間的画像センサー[ 5 ]は各イベントの瞬間的な強度を示します。DAVIS [ 13 ]（ダイナミックおよびアクティブピクセルビジョンセンサー）には、同じフォトセンサーアレイを共有するダイナミックビジョンセンサー（DVS）に加えて、グローバルシャッターアクティブピクセルセンサー（APS）が含まれています。したがって、イベントと一緒に画像フレームを生成する機能があります。CSDVS（センターサラウンドダイナミックビジョンセンサー）は、抵抗センターサラウンドネットワークを追加して、隣接するDVSピクセルを接続します。[ 14 ] [ 15 ]このセンターサラウンドは、出力の冗長性をさらに減らすために空間ハイパスフィルターを実装しています。多くのイベントカメラは、慣性測定ユニット（IMU）も搭載しています。

網膜型センサー

左：感光性コンデンサの概略断面図。中央：網膜型センサーの回路図（上部に感光性コンデンサを配置）。右：一定光量照射時の網膜型センサーの予想される過渡応答。

イベントセンサーの別のクラスは、いわゆるレチノモルフィックセンサーです。レチノモルフィックという用語は、一般的にイベントセンサーを説明するために使用されていましたが、[ 16 ] [ 17 ] 2020年に、直列に接続された抵抗器と感光性コンデンサに基づく特定のセンサー設計の名称として採用されました。 [ 18 ]これらのコンデンサは、太陽エネルギーを蓄積するために使用されるフォトコンデンサとは異なり、[ 19 ]照明下で静電容量が変化するように設計されています。静電容量が変化するとわずかに放電しますが、それ以外は平衡状態を維持します。感光性コンデンサを抵抗器と直列に配置し、入力電圧を回路全体に印加すると、光の強度が変化したときに電圧を出力し、それ以外の場合は電圧を出力しないセンサーが得られます。

他のイベントセンサー（通常はフォトダイオードとその他の回路素子）とは異なり、これらのセンサーは本質的に信号を生成します。したがって、他のイベントカメラの小さな回路と同じ結果を生成する単一のデバイスと見なすことができます。レチノモルフィックセンサーは、これまで研究環境でのみ研究されてきました。[ 20 ] [ 21 ] [ 22 ] [ 23 ]

アルゴリズム

ナイトランの再現
夜間に歩行者が車のヘッドライトの前を走っている。左：従来のカメラで撮影した画像。激しいモーションブラーと露出不足が見られる。右：左の画像とイベントカメラのイベントを組み合わせて再構成した画像。[ 24 ]

画像再構成

イベントからの画像再構成は、高ダイナミックレンジ、高時間解像度、そしてモーションブラーを低減した画像や動画を作成できる可能性を秘めています。画像再構成は、ハイパスフィルタや相補フィルタなどの時間的平滑化を用いて実現できます。[ 24 ]代替手法としては、最適化[ 25 ]や勾配推定[ 26 ]に続いてポアソン積分を行う方法などがあります。また、静止シーンの画像は、ノイズイベントとシーンの明るさとの相関関係を分析するだけで復元できることも示されています。[ 27 ]

空間畳み込み

空間イベント駆動畳み込みの概念は1999年[ 28 ]（DVS以前）に提唱されましたが、後にEUプロジェクトCAVIAR [ 29 ]（DVSが発明された時期）で、積分発火ピクセルの配列内のイベント座標の周りに任意の畳み込みカーネルをイベントごとに投影することで一般化されました。 [ 30 ]マルチカーネルイベント駆動畳み込みへの拡張[ 31 ]により、イベント駆動型深層畳み込みニューラルネットワークが可能になります。[ 32 ]

動きの検出と追跡

イベントカメラで撮影した移動物体のセグメンテーションと検出は、チップ上のセンサーによって行われるため、一見簡単な作業のように思えます。しかし、イベントが持つ情報量は非常に少なく[ 33 ]、テクスチャや色などの有用な視覚的特徴も含まれていないため[ 34 ] 、これらの作業は困難です。カメラが移動している場合、これらの作業はさらに困難になります。[ 33 ]イベントは画像平面上のあらゆる場所で発生し、移動物体と静止シーン（その見かけの動きはカメラの自発的な動きによって引き起こされる）によって生成されるためです。この問題を解決するための最近のアプローチには、動き補償モデル[ 35 ] [ 36 ]や従来のクラスタリングアルゴリズムの組み込みなどがあります。[ 37 ] [ 38 ] [ 34 ] [ 39 ]

潜在的な用途

潜在的な用途としては、従来型のカメラが適しているほとんどのタスクが含まれますが、特に機械視覚タスク（物体認識、自律走行車、ロボット工学など）に重点が置かれています。 [ 22 ]。米軍は、消費電力が少なく発熱が少ないことから、赤外線カメラなどのイベントカメラを検討しています。[ 7 ]

イベントカメラは従来の画像センサーに比べて多くの利点を持つため、低消費電力と低遅延が求められ、カメラの視線を安定させることが難しい用途に適していると考えられます。これらの用途には、前述の自律システムに加え、宇宙撮影、セキュリティ、防衛、産業監視などが含まれます。イベントカメラによる色検知の研究は進行中ですが[ 40 ]、色検知を必要とする用途ではまだ使い勝手が良くありません。

参照

参考文献

  1. ^ Li, Hongmin; Liu, Hanchao; Ji, Xiangyang; Li, Guoqi; Shi, Luping (2017). 「CIFAR10-DVS: オブジェクト分類のためのイベントストリームデータセット」 . Frontiers in Neuroscience . 11 309. doi : 10.3389/ fnins.2017.00309 . ISSN  1662-453X . PMC  5447775. PMID 28611582  .
  2. ^ Sarmadi, Hamid; Muñoz-Salinas, Rafael; Olivares-Mendez, Miguel A.; Medina-Carnicer, Rafael (2021). 「イベントカメラを用いたバイナリ正方形基準マーカーの検出」. IEEE Access . 9 : 27813–27826 . arXiv : 2012.06516 . Bibcode : 2021IEEEA...927813S . doi : 10.1109/ACCESS.2021.3058423 . ISSN 2169-3536 . S2CID 228375825 .  
  3. ^ Liu, Min; Delbruck, Tobi (2017年5月). 「ダイナミックビジョンセンサーのためのブロックマッチングオプティカルフロー：アルゴリズムとFPGA実装」. 2017 IEEE International Symposium on Circuits and Systems (ISCAS) . pp.  1– 4. arXiv : 1706.05415 . doi : 10.1109/ISCAS.2017.8050295 . ISBN 978-1-4673-6853-7. S2CID  2283149 .
  4. ^ a b c Lichtsteiner, P.; Posch, C.; Delbruck, T. (2008年2月). 「128×128 120 dB 15μs遅延非同期時間コントラストビジョンセンサー」(PDF) . IEEE Journal of Solid-State Circuits . 43 (2): 566– 576. Bibcode : 2008IJSSC..43..566L . doi : 10.1109/JSSC.2007.914337 . ISSN 0018-9200 . S2CID 6119048.オリジナル(PDF)から2021年5月3日にアーカイブ。 2019年12月6日閲覧。  
  5. ^ a b Posch, C.; Matolin, D.; Wohlgenannt, R. (2011年1月). 「ロスレスピクセルレベルビデオ圧縮と時間領域CDSを備えたQVGA 143 dBダイナミックレンジフレームフリーPWMイメージセンサー」. IEEE Journal of Solid-State Circuits . 46 (1): 259– 275. Bibcode : 2011IJSSC..46..259P . doi : 10.1109/JSSC.2010.2085952 . ISSN 0018-9200 . S2CID 21317717 .  
  6. ^ Longinotti, Luca. 「製品仕様」iniVation . 2019年4月2日時点のオリジナルよりアーカイブ。2019年4月21日閲覧。
  7. ^ a b「新しいタイプのカメラ」エコノミスト2022年1月29日ISSN 0013-0613 . 2022年2月2日閲覧。 
  8. ^ Hu, Yuhuang; Liu, Shih-Chii; Delbruck, Tobi (2021-04-19). 「v2e: ビデオフレームからリアルなDVSイベントへ」. arXiv : 2006.07722 [ cs.CV ].
  9. ^ DxO. 「Nikon D850：テストとレビュー | DxOMark」 www.dxomark.com . 2019年4月22日閲覧。
  10. ^ 「Phantom v2640」 . www.phantomhighspeed.com . 2019年4月22日閲覧。
  11. ^ Longinotti, Luca. 「製品仕様」iniVation . 2019年4月2日時点のオリジナルよりアーカイブ。 2019年4月22日閲覧。
  12. ^ Serrano-Gotarredona, T.; Linares-Barranco, B. (2013年3月). 「トランスインピーダンスアンプを用いた128x128、コントラスト感度1.5%、FPN0.9%、遅延3μs、4mW、非同期フレームフリー・ダイナミックビジョンセンサー」(PDF) . IEEE Journal of Solid-State Circuits . 48 (3): 827– 838. Bibcode : 2013IJSSC..48..827S . doi : 10.1109/JSSC.2012.2230553 . ISSN 0018-9200 . S2CID 6686013 .  
  13. ^ブランドリ、C.;バーナー、R.ヤン、M.リュー、Ｓ．デルブリュック、T. (2014 年 10 月)。「240 × 180 130 dB 3 µs レイテンシー グローバル シャッター時空間ビジョン センサー」。IEEE ソリッドステート回路ジャーナル。49 (10): 2333–2341。書誌コード: 2014IJSSC..49.2333B。土井：10.1109/JSSC.2014.2342715。ISSN 0018-9200。 
  14. ^ Delbruck, Tobi; Li, Chenghan; Graca, Rui; Mcreynolds, Brian (2022年10月). 「センターサラウンドイベントカメラの有用性と実現可能性」. 2022 IEEE International Conference on Image Processing (ICIP) . pp.  381– 385. doi : 10.1109/ICIP46576.2022.9897354 . ISBN 978-1-6654-9620-9。
  15. ^ Di Girolamo, Arturo; Metzner, Christian; Urhan, Özcan (2025年5月). 「設定可能な拮抗中心周囲を備えたイベントベースラインセンサー」. 2025 IEEE International Symposium on Circuits and Systems (ISCAS) . pp.  1– 5. doi : 10.1109/ISCAS56072.2025.11043186 . ISBN 979-8-3503-5683-0。
  16. ^ Boahen, K. (1996). 「網膜型視覚システム」.第5回国際マイクロエレクトロニクス・ニューラルネットワーク会議議事録. pp.  2– 14. doi : 10.1109/MNNFS.1996.493766 . ISBN 0-8186-7373-7. S2CID  62609792 .
  17. ^ Posch, Christoph; Serrano-Gotarredona, Teresa; Linares-Barranco, Bernabe; Delbruck, Tobi (2014). 「Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output. Proceedings of the IEEE . 102 (10): 1470– 1484. doi : 10.1109/JPROC.2014.2346153 . hdl : 11441/102353 . ISSN 1558-2256 . S2CID 11513955 .  
  18. ^ Trujillo Herrera, Cinthya; Labram, John G. (2020-12-07). 「ペロブスカイト網膜型センサー」 .応用物理学論文集. 117 (23): 233501. Bibcode : 2020ApPhL.117w3501T . doi : 10.1063/5.0030097 . ISSN 0003-6951 . S2CID 230546095 .  
  19. ^宮坂 勉; 村上 拓郎 (2004-10-25). 「光キャパシタ：太陽エネルギーを直接貯蔵する効率的な自己充電キャパシタ」 .応用物理学論文集. 85 (17): 3932– 3934. Bibcode : 2004ApPhL..85.3932M . doi : 10.1063/1.1810630 . ISSN 0003-6951 . 
  20. ^ 「ペロブスカイトセンサー、人間の目に近い視認性を実現」 Physics World 2021年1月18日2021年10月28日閲覧。
  21. ^ 「シンプルな目のようなセンサーがAIシステムの効率化につながる」 Inside Science、2020年12月8日。 2021年10月28日閲覧。
  22. ^ a bハンブリング、デイビッド。「人間の目を模倣したセンサーでAIの視覚は向上する可能性がある」。ニューサイエンティスト。 2021年10月28日閲覧。
  23. ^ 「AIのための目：人間の網膜を模倣した光学装置」 BBCサイエンスフォーカスマガジン、2020年12月10日。2021年10月28日閲覧。
  24. ^ a b Scheerlinck, Cedric; Barnes, Nick; Mahony, Robert (2019). 「イベントカメラを用いた連続時間強度推定」. Computer Vision – ACCV 2018. Lecture Notes in Computer Science. Vol. 11365. Springer International Publishing. pp.  308– 324. arXiv : 1811.00386 . doi : 10.1007/978-3-030-20873-8_20 . ISBN 978-3-030-20873-8. S2CID  53182986 .
  25. ^ Pan, Liyuan; Scheerlinck, Cedric; Yu, Xin; Hartley, Richard; Liu, Miaomiao; Dai, Yuchao (2019年6月). 「イベントカメラを用いた高フレームレートでのぼやけたフレームの鮮明化」. 2019 IEEE/CVF コンピュータビジョンおよびパターン認識会議 (CVPR) . ロングビーチ、カリフォルニア州、米国: IEEE. pp.  6813– 6822. arXiv : 1811.10180 . doi : 10.1109/CVPR.2019.00698 . ISBN 978-1-7281-3293-8. S2CID  53749928 .
  26. ^ Scheerlinck, Cedric; Barnes, Nick; Mahony, Robert (2019年4月). 「イベントカメラのための非同期空間画像畳み込み」. IEEE Robotics and Automation Letters . 4 (2): 816– 822. arXiv : 1812.00438 . Bibcode : 2019IRAL....4..816S . doi : 10.1109/LRA.2019.2893427 . ISSN 2377-3766 . S2CID 59619729 .  
  27. ^ Cao, Ruiming; Galor, Dekel; Kohli, Amit; Yates, Jacob L.; Waller, Laura (2025年1月20日). 「Noise2Image: イベントカメラにおけるノイズ対応の静的シーン復元」. Optica . 12 (1): 46. arXiv : 2404.01298 . Bibcode : 2025Optic..12...46C . doi : 10.1364/OPTICA.538916 .
  28. ^ Serrano-Gotarredona, T.; Andreou, A.; Linares-Barranco, B. (1999年9月). 「ビジョン処理システム向けAER画像フィルタリングアーキテクチャ」. IEEE Transactions on Circuits and Systems I: Fundamental Theory and Applications . 46 (9): 1064– 1071. doi : 10.1109/81.788808 . hdl : 11441/76405 . ISSN 1057-7122 . 
  29. ^ Serrano-Gotarredona, R.; et, al (2009年9月). 「CAVIAR: 45kニューロン、5Mシナプス、12G接続/秒のAERハードウェア感覚処理学習駆動システムによる高速視覚物体認識・追跡」. IEEE Transactions on Neural Networks . 20 (9): 1417– 1438. Bibcode : 2009ITNN...20.1417S . doi : 10.1109/TNN.2009.2023653 . hdl : 10261/86527 . ISSN 1045-9227 . PMID 19635693. S2CID 6537174 .   
  30. ^ Serrano-Gotarredona, R.; Serrano-Gotarredona, T.; Acosta-Jimenez, A.; Linares-Barranco, B. (2006年12月). 「スパイクベースイベント処理ビジョンシステム向けニューロモルフィック皮質層マイクロチップ」. IEEE Transactions on Circuits and Systems I: Regular Papers . 53 (12): 2548– 2566. Bibcode : 2006ITCSR..53.2548S . doi : 10.1109/TCSI.2006.883843 . hdl : 10261/7823 . ISSN 1549-8328 . S2CID 8287877 .  
  31. ^カムニャス＝メサ、L.;ら (2012 年 2 月)。 「イベント駆動型ビジョンセンサー用のイベント駆動型マルチカーネル畳み込みプロセッサモジュール」。IEEE ソリッドステート回路ジャーナル。47 (2): 504–517。書誌コード: 2012IJSSC..47..504C。土井: 10.1109/JSSC.2011.2167409。hdl : 11441/93004。ISSN 0018-9200。S2CID 23238741。  
  32. ^ Pérez-Carrasco, JA; Zhao, B.; Serrano, C.; Acha, B.; Serrano-Gotarredona, T.; Chen, S.; Linares-Barranco, B. (2013年11月). 「低レートレートコーディングと同時処理によるフレーム駆動型イベント駆動型ビジョンシステムからフレームフリー型イベント駆動型ビジョンシステムへのマッピング．フィードフォワードConvNetへの応用」 IEEE Transactions on Pattern Analysis and Machine Intelligence . 35 (11): 2706– 2719. Bibcode : 2013ITPAM..35.2706P . doi : 10.1109/TPAMI.2013.71 . hdl : 11441/79657 . ISSN 0162-8828 . PMID 24051730 . S2CID 170040 .   
  33. ^ a bガレゴ、ギレルモ;デルブリュック、トビ。オーチャード、ギャリック・マイケル。バルトロッツィ、キアラ。タバ、ブライアン。チェンシ、アンドレア。ロイテネッガー、ステファン。デイヴィソン、アンドリュー。コンラット、ヨルグ。ダニイリディス、コスタス。ダビデ・スカラムッツァ（2020）。 「イベントベースのビジョン: 調査」。パターン分析とマシン インテリジェンスに関する IEEE トランザクション。PP (1 ) : 154–180。arXiv : 1904.08405 。土井：10.1109/TPAMI.2020.3008413。ISSN 1939-3539。PMID 32750812。S2CID 234740723。   
  34. ^ a b Mondal, Anindya; R, Shashant; Giraldo, Jhony H.; Bouwmans, Thierry; Chowdhury, Ananda S. (2021). 「グラフスペクトルクラスタリングを用いたイベントベースビジョンにおける移動物体検出」 . 2021 IEEE/CVF 国際コンピュータビジョン会議ワークショップ (ICCVW) . pp.  876– 884. arXiv : 2109.14979 . doi : 10.1109/ICCVW54120.2021.00103 . ISBN 978-1-6654-0191-3。S2CID  238227007 – IEEE Xplore 経由。
  35. ^ミトロキン, アントン; フェルミュラー, コルネリア; パラメッシュワラ, チェサン; アロイモノス, ヤニス (2018年10月). 「イベントベースの移動物体検出と追跡」. 2018 IEEE/RSJ 国際知能ロボット・システム会議 (IROS) . マドリード: IEEE. pp.  1– 9. arXiv : 1803.04523 . doi : 10.1109/IROS.2018.8593805 . ISBN 978-1-5386-8094-0. S2CID  3845250 .
  36. ^ Stoffregen, Timo; Gallego, Guillermo; Drummond, Tom; Kleeman, Lindsay; Scaramuzza, Davide (2019). 「動き補償によるイベントベース動きセグメンテーション」 . 2019 IEEE/CVF 国際コンピュータビジョン会議 (ICCV) . pp.  7244– 7253. arXiv : 1904.01293 . doi : 10.1109/ICCV.2019.00734 . ISBN 978-1-7281-4803-8. S2CID  91183976 .
  37. ^ Piątkowska, Ewa; Belbachir, Ahmed Nabil; Schraml, Stephan; Gelautz, Margrit (2012年6月). 「ダイナミックビジョンセンサーを用いた時空間複数人物追跡」. 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops . pp.  35– 40. doi : 10.1109/CVPRW.2012.6238892 . ISBN 978-1-4673-1612-5. S2CID  310741 .
  38. ^ Chen, Guang; Cao, Hu; Aafaque, Muhammad; Chen, Jieneng; Ye, Canbo; Röhrbein, Florian; Conradt, Jörg; Chen, Kai; Bing, Zhenshan; Liu, Xingbo; Hinz, Gereon (2018-12-02). 「ニューロモルフィック・ビジョン・ベースによるインテリジェント交通システム向け複数車両検知・追跡」 . Journal of Advanced Transportation . 2018 e4815383. doi : 10.1155/2018/4815383 . ISSN 0197-6729 . 
  39. ^ Mondal, Anindya; Das, Mayukhmali (2021-11-08). 「k-meansクラスタリングを用いたイベントベースビジョンにおける移動物体検出」. 2021 IEEE 8th Uttar Pradesh Section International Conference on Electrical, Electronics and Computer Engineering (UPCON) . pp.  1– 6. arXiv : 2109.01879 . doi : 10.1109/UPCON52273.2021.9667636 . ISBN 978-1-6654-0962-9. S2CID  237420620 .
  40. ^ 「CED: カラーイベントカメラデータセット」 . rpg.ifi.uzh.ch. 2024年4月8日閲覧。
「 https://en.wikipedia.org/w/index.php?title=Event_camera&oldid=1326090396」から取得