Computerized information extraction from images
コンピュータビジョンの タスクには、 デジタル画像を 取得 、 処理 、 分析 、理解する方法 、そして 現実世界から 高次元データを抽出して、例えば意思決定の形で数値情報や記号情報を生成する方法が含まれます。 [1] [2] [3] [4]ここでの「理解」とは、視覚画像( 網膜 への入力 )を思考プロセスに意味を持ち、適切な行動を引き出すことができる世界の記述に変換することを意味します。この画像理解は、幾何学、物理学、統計学、学習理論を用いて構築されたモデルを用いて、画像データから記号情報を分離することと捉えることができます。
コンピュータビジョンという科学分野は 、 画像から情報を抽出する人工システムの背後にある理論を扱っています。画像データは、ビデオシーケンス、複数のカメラからの映像、 3Dスキャナからの多次元データ、 LiDaR センサーからの3D点群、 医療用スキャンデバイスなど、様々な形式を取ります。コンピュータビジョンという技術分野は、その理論とモデルをコンピュータビジョンシステムの構築に適用することを目指しています。
コンピューター ビジョンのサブ分野には、 シーン再構成 、 オブジェクト検出 、 イベント検出 、 アクティビティ認識 、ビデオ 追跡 、 オブジェクト認識 、 3D ポーズ推定 、学習、インデックス作成、 モーション推定 、 視覚サーボ 、 3D シーン モデリング 、 画像復元 などがあります。
意味
コンピュータビジョンは、コンピュータがデジタル画像や動画から高度な理解を獲得する方法を研究する学際的な分野です 。工学の観点から見ると、人間の視覚システムが実行できるタスクの自動化を目指しています。[5] [6] [7] 「コンピュータビジョンは、単一の画像 または 一連 の 画像 から 有用 な 情報 を 自動的 に 抽出 、分析、理解することに関係しています。自動的な視覚理解を実現するための理論的およびアルゴリズム的基盤の開発が含まれます。」 [8] 科学分野 として、コンピュータビジョンは画像から情報を抽出する人工システムの理論に関係しています。画像データは、ビデオシーケンス、複数のカメラからの映像、 医療用スキャナ からの多次元データなど、様々な形式を取ります 。 [9] 技術分野として、コンピュータビジョンは、その理論とモデルをコンピュータビジョンシステムの構築に適用することを目指しています。 マシンビジョンは 、特に工場自動化の文脈において、システムエンジニアリングの分野を指します。近年では、コンピュータビジョンとマシンビジョンという用語は、より高度な融合を遂げています。 [10] : 13
歴史
1960年代後半、 人工知能 の先駆者であった大学でコンピュータビジョンの研究が始まりました。これは、 ロボットに知的行動を与えるための足がかりとして、 人間の視覚システムを模倣することを目的としていました。 [11] 1966年には、学部生の夏季課題 [12] で、カメラをコンピュータに接続し、「見たものを記述する」ことで、これが実現できると考えられていました 。 [13] [14]
当時主流だった デジタル画像処理 分野とコンピュータビジョンを区別する特徴は、 画像から 3次元構造を抽出し、シーン全体の理解を目指すという点にあった。1970年代の研究は、画像からの エッジ抽出 、線のラベリング、非多面体および 多面体モデリング 、物体をより小さな構造の相互接続として表現すること、 オプティカルフロー 、 動き推定 など、今日存在する多くのコンピュータビジョン アルゴリズム の初期の基礎を形成した。 [11]
次の10年間は、より厳密な数学的分析とコンピュータビジョンの定量的側面に基づく研究が行われた。これらには、 スケールスペースの概念、 陰影 、テクスチャ、フォーカス などのさまざまな手がかりからの形状の推論、 スネークとして知られる輪郭モデルが含まれる。研究者たちはまた、これらの数学的概念の多くが 正則化 や マルコフランダムフィールド と同じ最適化フレームワーク内で扱うことができることに気付いた 。 [15]
1990年代までには、以前の研究トピックのいくつかが他のものよりも活発になった。 射影 3D再構成の研究は、 カメラキャリブレーション の理解を深めた 。カメラキャリブレーションの最適化手法の登場により、多くのアイデアが 写真測量の 分野の バンドル調整理論ですでに検討されていることが認識された。これは 、複数の画像からシーンのスパース3D再構成 の方法につながった。稠密ステレオ 対応問題 とさらなるマルチビューステレオ技術が進歩した 。同時に、 グラフカットのバリエーションが 画像セグメンテーションを 解決するために使用された 。この10年間は、統計学習技術が画像内の顔認識に初めて実用化された時期でもありました( Eigenface 参照)。1990年代末には、 コンピュータグラフィックスとコンピュータビジョンの分野間の連携が深まり、大きな変化が起こりました。これには、 イメージベースレンダリング 、 画像モーフィング 、ビュー補間、 パノラマ画像スティッチング 、初期の ライトフィールドレンダリング などが含まれます 。 [11]
近年の研究では、 機械学習技術や複雑な最適化フレームワークと組み合わせた 特徴ベースの手法が再び注目を集めています。 [16] [17] ディープラーニング 技術
の進歩は、コンピュータビジョン分野にさらなる活力をもたらしました。分類、 [18] セグメンテーション、オプティカルフローなど、様々なタスクにおいて、ディープラーニングアルゴリズムの精度は、いくつかのベンチマークコンピュータビジョンデータセットにおいて、 従来の手法を凌駕しています。 [19] [20]
写真内の 物体検出
固体物理学
固体物理学は 、コンピュータビジョンと密接に関連するもう一つの分野です。ほとんどのコンピュータビジョンシステムは、通常、 可視光 、 赤外線 、 紫外線 のいずれかの形態をとる 電磁放射 を検出する 画像センサー に依存しています。センサーは 量子物理学 を使用して設計されています。光が表面と相互作用するプロセスは、物理学を使用して説明されます。物理学は、 ほとんどの画像システムの中核部分である 光学系の挙動を説明します。高度な 画像センサーでは、 画像形成プロセスを完全に理解するために 量子力学さえ も必要とします。 [11] また、流体中の動きなど、物理学におけるさまざまな測定問題も、コンピュータビジョンを使用して解決できます。
神経生物学
神経生物学は 、コンピューター ビジョン アルゴリズムの開発に大きな影響を与えています。過去 1 世紀にわたって、人間とさまざまな動物の視覚刺激の処理を目的とした目、ニューロン、脳の構造の研究が広範に行われてきました。これにより、自然の視覚システムが特定の視覚関連タスクを解決するためにどのように機能するかについて、大まかで複雑な説明が生まれました。これらの結果から、さまざまな複雑性レベルでの生物システムの処理と動作を模倣するように人工システムが設計される、コンピューター ビジョンのサブ分野が生まれました。また、コンピューター ビジョンで開発された学習ベースの手法 ( ニューラル ネット や ディープ ラーニング ベースの画像や特徴の分析や分類など) の一部は、神経生物学を背景としています。1970 年代に 福島邦彦氏が開発したニューラル ネットワークであるネオ コグニトロンは、神経生物学、特に 一次視覚野 から直接インスピレーションを得たコンピューター ビジョンの初期の例です 。
コンピュータビジョン研究の一部は、生物視覚 の研究と密接に関連しています 。実際、 AI 研究の多くの分野が、人間の知能や、視覚情報を解釈、統合、活用するための蓄積された知識の利用に関する研究と密接に結びついているのと同様にです。生物視覚の分野は、人間や他の動物の視覚知覚を支える生理学的プロセスを研究し、モデル化します。一方、コンピュータビジョンは、人工視覚システムの背後にあるソフトウェアとハードウェアに実装されたアルゴリズムを開発し、記述します。生物視覚とコンピュータビジョンの学際的な交流は、両分野にとって実りあるものであることが証明されています。 [22]
信号処理
コンピュータビジョンに関連するもう一つの分野は 信号処理 です。1変数信号(典型的には時間信号)を処理する多くの手法は、コンピュータビジョンにおける2変数信号や多変数信号の処理にも自然に拡張できます。しかし、画像の特殊性のため、コンピュータビジョン分野では、1変数信号の処理には対応する手法がない手法が数多く開発されています。信号の多次元性と相まって、これはコンピュータビジョンの一部としての信号処理のサブフィールドを定義しています。
ロボットナビゲーション
ロボットナビゲーションは、ロボットシステムが 環境内を移動するための自律的な 経路計画 や検討 を扱うことがある 。 [23] 環境内を移動するには、環境の詳細な理解が必要である。環境に関する情報は、視覚センサーとして機能し、環境とロボットに関する高レベルの情報を提供するコンピュータビジョンシステムによって提供される。
ビジュアルコンピューティング
その他の分野
コンピュータビジョンに関する上記の見解に加えて、関連する研究テーマの多くは、純粋に数学的な観点からも研究することができます。例えば、コンピュータビジョンにおける多くの手法は、 統計 、 最適化 、あるいは 幾何 学に基づいています。最後に、この分野の大部分は、コンピュータビジョンの実装面、つまり既存の手法をソフトウェアとハードウェアの様々な組み合わせでどのように実現するか、あるいはこれらの手法をどのように変更すれば、パフォーマンスをあまり損なうことなく処理速度を向上させることができるかという点に充てられています。コンピュータビジョンは、ファッションのeコマース、在庫管理、特許検索、家具、美容業界でも利用されています。 [24]
区別
コンピューター ビジョンに最も関連のある分野は、 画像処理 、 画像解析 、 マシン ビジョン です。これらがカバーする技術とアプリケーションの範囲には、かなりの重複があります。これは、これらの分野で使用および開発されている基本技術が類似していることを意味し、名前が異なるのは 1 つの分野だけであると解釈できます。その一方で、研究グループ、科学雑誌、会議、企業にとっては、これらのいずれかの分野に特に属しているものとして自らを紹介または売り込む必要があるように思われ、そのため、各分野を他の分野と区別するさまざまな特徴付けが提示されてきました。画像処理では、入力と出力はどちらも画像ですが、コンピューター ビジョンでは、入力は画像またはビデオであり、出力は強化された画像、画像の内容の分析、またはその分析に基づくシステムの動作になることもあります。
コンピュータグラフィックスは 3Dモデルから画像データを生成し、コンピュータビジョンは画像データから3Dモデルを生成することが多い。 [25]また、 例えば 拡張現実(AR) で検討されているように、 この2つの分野を組み合わせる傾向もある 。
以下の特徴は関連性があるように見えますが、普遍的に受け入れられているとは考えられません。
画像処理 と 画像解析は 、2次元画像、 例えば コントラスト強調などのピクセル単位の操作、エッジ抽出やノイズ除去などの局所的な操作、画像の回転などの幾何学的変換など、ある画像を別の画像に変換する方法に重点を置く傾向があります。この特徴は、画像処理/解析は画像の内容に関する仮定を必要とせず、解釈も生み出さないことを意味します。
コンピュータビジョンには、2D画像からの3D解析が含まれます。これは、1枚または複数枚の画像に投影された3Dシーンを解析し、 例えば 、1枚または複数枚の画像から3Dシーンの構造やその他の情報を再構築する方法などです。コンピュータビジョンは、画像に描かれたシーンに関する、多かれ少なかれ複雑な仮定に依存することがよくあります。
マシンビジョン は、産業用途において 画像ベースの自動検査、プロセス制御、ロボットガイダンス [26]を提供するためのさまざまな技術と方法を適用するプロセスです。 [22] マシンビジョンは、主に製造業のアプリケーション、 たとえば 、ビジョンベースのロボットや、ビジョンベースの検査、測定、ピッキング( ビンピッキング [27] など)を行うシステムに焦点を当てる傾向があります。これは、画像センサー技術と制御理論が、ロボットを制御するための画像データの処理と統合されることが多く、ハードウェアとソフトウェアの効率的な実装によってリアルタイム処理が重視されることを意味します。また、照明などの外部条件は、一般的なコンピュータービジョンよりもマシンビジョンでより制御でき、多くの場合、より制御されているため、さまざまなアルゴリズムを使用できます。
イメージング と呼ばれる分野もあり、 これは主に画像生成プロセスに焦点を当てていますが、画像の処理と分析も扱うことがあります。例えば、 医用画像処理 には、医療用途における画像データの分析に関する膨大な研究が含まれます。 畳み込みニューラルネットワーク (CNN)の進歩により、特に心臓病学、病理学、皮膚科、放射線学において、医用画像における疾患の検出精度が向上しました。 [28]
最後に、 パターン認識は、主に統計的アプローチと 人工ニューラルネットワーク に基づいて、一般的な信号から情報を抽出するさまざまな方法を使用する分野です 。 [29] この分野のかなりの部分は、これらの手法を画像データに適用することに費やされています。
写真測量は コンピューター ビジョンとも重複します (例: ステレオ写真測量 と コンピューター ステレオ ビジョン) 。
アプリケーション
アプリケーションは、生産ラインを高速で通過するボトルを検査する産業用マシン ビジョン システムなどのタスクから 、周囲の世界を理解できる人工知能やコンピュータ、ロボットの研究まで多岐にわたります。コンピュータ ビジョンとマシン ビジョンの分野には、かなりの重複があります。コンピュータ ビジョンは、多くの分野で使用されている自動画像分析の中核技術をカバーしています。マシン ビジョンは通常、自動画像分析と他の方法や技術を組み合わせて、産業用アプリケーションで自動検査やロボット ガイダンスを提供するプロセスを指します。多くのコンピュータ ビジョン アプリケーションでは、特定のタスクを解決するためにコンピュータが事前にプログラムされていますが、学習に基づく方法が現在ますます一般的になりつつあります。コンピュータ ビジョンのアプリケーション例としては、次のようなシステムがあります。
3D形状の学習は、コンピュータービジョンにおいて困難な課題でした。近年の ディープラーニングの進歩により、研究者は単一または複数の視点の 深度マップ やシルエットからシームレスかつ効率的に3D形状を生成・再構築できるモデルを構築できるようになりました 。 [25]
2024年には、コンピュータビジョンの主要分野は産業(市場規模52.2億米ドル) [34] 、医療(市場規模26億米ドル) [35] 、軍事(市場規模9億9,620万米ドル) [36]でした。
薬
DARPA のビジュアルメディア推論コンセプトビデオ
最も顕著な応用分野の一つは 医療用コンピュータビジョン 、もしくは医療用画像処理であり、画像データから情報を抽出して 患者を診断することを特徴とする。 [37]その一例としては、 腫瘍 、 動脈硬化症 などの悪性変化、さまざまな歯科病状の検出がある 。また、臓器の寸法や血流などの測定もその一つである。さらに、脳の構造や医療の質などに関する新しい情報を提供することで、医療研究を支援している 。医療分野におけるコンピュータビジョンの応用には、人間が判読する画像 (超音波画像 や X線画像 など)のノイズの影響を低減するための
強調も含まれる。
マシンビジョン
コンピュータビジョンの2つ目の応用分野は産業分野であり、 マシンビジョン と呼ばれることもあります。ここでは、生産プロセスを支援する目的で情報が抽出されます。一例として、欠陥を見つけるために細部または最終製品を自動的に検査する品質管理が挙げられます。このような検査の最も一般的な分野の一つは、 コンピュータチップ が使用できない状態で市場に出るのを防ぐために、すべてのウェハを測定して不正確さや欠陥がないか検査する ウェーハ 産業です。別の例としては、ロボットアームで拾い上げる細部の位置と方向の測定があります。マシンビジョンは、バルク材料から不要な食品を取り除く農業プロセス、いわゆる 光学選別 にも多用されています。 [38]
軍隊
分かりやすい例としては、敵兵や敵車両の検知と ミサイル誘導 が挙げられます。より高度なミサイル誘導システムは、ミサイルを特定の目標ではなくエリアに誘導し、ミサイルがそのエリアに到達した際に、現地で取得した画像データに基づいて目標を選択します。「戦場認識」といった現代の軍事概念は、画像センサーを含む様々なセンサーが、戦闘現場に関する豊富な情報を提供し、戦略的意思決定を支援することを示唆しています。この場合、データの自動処理によって複雑さを軽減し、複数のセンサーからの情報を統合して信頼性を高めます。
自動運転車
無人陸上車両の一例である キュリオシティ の想像図。 ステレオカメラ はローバーの上部に搭載されている。
新しい応用分野の 1 つに自律走行車があります。これには、 潜水艇 、陸上車両 (車輪付きの小型ロボット、自動車、またはトラック)、航空機、無人航空機 ( UAV ) が含まれます。自律性のレベルは、完全な自律 (無人) 車両から、さまざまな状況でコンピューター ビジョン ベースのシステムが運転手や操縦士をサポートする車両まであります。完全な自律走行車は通常、ナビゲーション (現在地の把握、環境のマッピング ( SLAM ))、障害物の検出にコンピューター ビジョンを使用します。また、森林火災を探している UAV など 、特定のタスク固有のイベントの検出にも使用できます。サポート システムの例としては、自動車の障害物警報システム、自動車のカメラや LiDAR センサー、航空機の自律着陸システムなどがあります。いくつかの自動車メーカーは 、自動車の自律運転 システムを実証しています 。高度なミサイルから偵察任務やミサイル誘導用の UAV まで、軍用の自律走行車の例は数多くあります。宇宙探査はすでに 、 NASA の Curiosity や CNSA の Yutu-2 ローバーなど 、コンピューター ビジョンを使用した自律走行車によって行われています 。
触覚フィードバック
微小凹凸面の形状推定のための柔軟構造を有するゴム人工皮膚層
上の写真は、多数のポイントマーカーが内蔵されたカメラを内蔵したシリコン型です。このセンサーを表面に押し付けると、シリコンが変形し、ポイントマーカーの位置が移動します。コンピューターはこのデータを取得し、型が表面にどの程度正確に押し付けられているかを判定します。このデータを利用して、ロボットハンドが物体を効果的に掴めるかのキャリブレーションを行うことができます。
ゴムやシリコンなどの材料は、微小な起伏の検出やロボットハンドのキャリブレーションといった用途に使用可能なセンサーの製造に利用されています。ゴムは指に装着できる型を作るために使用でき、この型の中には複数のひずみゲージが埋め込まれます。指の型とセンサーは、ゴム製のピンが配列された小さなゴムシートの上に置かれます。ユーザーは指の型を装着し、表面をなぞります。コンピューターはひずみゲージからのデータを読み取り、1本以上のピンが押し上げられているかどうかを測定します。ピンが押し上げられている場合、コンピューターはそれを表面の欠陥として認識します。この種の技術は、非常に広い表面の欠陥に関する正確なデータを取得するのに役立ちます。 [39] この指型センサーの別のバリエーションとして、シリコンにカメラを内蔵したセンサーがあります。シリコンはカメラの外側をドーム状に囲み、等間隔に配置されたポイントマーカーが埋め込まれています。これらのカメラはロボットハンドなどのデバイスに設置することができ、コンピュータが高精度の触覚データを受信できるようになります。 [40]
その他の応用分野は次のとおりです。
典型的なタスク
上述の各応用分野では、コンピュータービジョンに関する様々なタスクが用いられます。これらは、多かれ少なかれ明確に定義された測定問題や処理問題であり、様々な手法を用いて解決可能です。以下に、典型的なコンピュータービジョンタスクの例をいくつか示します。
コンピュータビジョンのタスクには、 デジタル画像を 取得 、 処理 、 分析 、理解する手法、そして現実世界から 高次元データを抽出して、 例えば 意思決定の形で数値情報や記号情報を生成する手法が含まれる。 [1] [2] [3] [4] ここでの理解とは、視覚画像(網膜への入力)を、他の思考プロセスと連携して適切な行動を引き出すことができる世界の記述に変換することを意味する。この画像理解は、幾何学、物理学、統計学、学習理論を用いて構築されたモデルを用いて、画像データから記号情報を分離することと捉えることができる。 [45]
認識
コンピュータビジョン、画像処理、そしてマシンビジョン における古典的な問題 は、画像データに特定の物体、特徴、あるいは動作が含まれているかどうかを判断することです。文献には様々な種類の認識問題が記載されています。 [46]
オブジェクト認識 (オブジェクト分類 とも呼ばれる ) – 事前に指定または学習された1つまたは複数のオブジェクトまたはオブジェクトクラスを、通常は画像内の2D位置またはシーン内の3Dポーズとともに認識します。Blippar、 Google Goggles 、LikeThatは、この機能を実証するスタンドアロンプログラムを提供しています。
識別 – 物体の個々のインスタンスが認識されます。例としては、特定の人物の顔や指紋の識別、 手書きの数字の識別 、特定の車両の識別などが挙げられます。
検出 – 画像データをスキャンし、特定の物体とその位置を探します。例としては、車両の視界内にある障害物や、医療画像における異常な細胞や組織の検出、自動道路料金システムにおける車両の検出などが挙げられます。比較的単純かつ高速な計算に基づく検出は、興味深い画像データの小さな領域を見つけるために使用されることがあります。これらの領域は、より計算負荷の高い技術を用いてさらに分析することで、正しい解釈を導き出すことができます。
現在、このようなタスクに最適なアルゴリズムは、 畳み込みニューラルネットワーク に基づいています。その能力を示す例として、 ImageNet Large Scale Visual Recognition Challenge が挙げられます。これは物体分類と検出のベンチマークであり、数百万枚の画像と1000の物体クラスがコンテストで使用されています。 [47] ImageNetテストにおける畳み込みニューラルネットワークの性能は、現在では人間の性能に近づいています。 [47] 最高のアルゴリズムであっても、花の茎にとまった小さなアリや羽根ペンを手に持った人物など、小さくて薄い物体の認識には依然として苦労しています。また、フィルターによって歪んだ画像(現代のデジタルカメラではますます一般的になっている現象)にも苦労します。対照的に、人間はそのような画像で苦労することはほとんどありません。しかし、人間は他の問題に苦労する傾向があります。例えば、特定の犬種や鳥の種類といった細かいクラスに物体を分類することは苦手ですが、畳み込みニューラルネットワークはこれを容易に処理します。 [ 要出典 ]
認識に基づいた次のような専門的なタスクがいくつか存在します。
コンテンツベースの画像検索 – 大規模な画像セットの中から、特定のコンテンツを持つすべての画像を検索します。コンテンツは様々な方法で指定できます。例えば、逆画像 検索 技術を用いて対象画像との類似度(画像Xに類似するすべての画像を取得)で指定したり、テキスト入力で高レベルの検索条件(家が多く写っていて、冬に撮影され、車が写っていないすべての画像を取得)で指定したりできます。
公共の場、モール、ショッピングセンターでの 人数カウンター 用コンピュータービジョン
動作分析
いくつかのタスクは動き推定に関連しており、画像シーケンスを処理して、画像内または3Dシーン内の各点、あるいは画像を生成するカメラの速度を推定します。このようなタスクの例としては、以下のようなものがあります。
Egomotion – カメラによって生成された画像シーケンスからカメラの 3D 剛体運動 (回転と移動) を決定します。
トラッキング – 画像シーケンス内の(通常は)少数の関心点または物体( 例 :車両、物体、人間、その他の生物 [44] )の動きを追跡する。この方法は、ほとんどの高速回転機械を監視できるため、産業界で幅広い用途がある。
オプティカルフロー – 画像内の各点について、その点が画像平面に対してどのように動いているか、つまり見かけの動きを判定します 。 この動きは、対応する3D点がシーン内でどのように動いているか、そしてカメラがシーンに対してどのように動いているかの両方によって決まります。
シーンの再構成
シーン再構成は、シーンの1枚または(通常は)複数枚の画像、あるいは動画が与えられた場合に、そのシーンの 3Dモデルを計算する ことを目的としています。最も単純なケースでは、モデルは3D点の集合となります。より高度な手法では、完全な3Dサーフェスモデルが生成されます。動きやスキャンを必要としない3Dイメージングと、それに関連する処理アルゴリズムの登場により、この分野は急速に進歩しています。グリッドベースの3Dセンシングは、複数の角度から3D画像を取得するために使用できます。現在では、複数の3D画像をつなぎ合わせて点群や3Dモデルを作成するアルゴリズムも利用可能です。 [25]
画像復元
画像復元は、レンズの位置間違い、伝送干渉、低照度、モーションブラーなど、ノイズと呼ばれる外的要因によって元の画像が劣化または損傷した場合に重要になります。画像が劣化または損傷すると、そこから抽出される情報も損傷します。そのため、画像を意図したとおりに回復または復元する必要があります。画像復元の目的は、画像からノイズ(センサーノイズ、モーションブラーなど)を除去することです。ノイズ除去の最もシンプルなアプローチは、ローパスフィルターやメディアンフィルターなどのさまざまなフィルターを使用することです。より洗練された方法では、局所的な画像構造の外観モデルを前提として、それらをノイズと区別します。まず、線やエッジなどの局所的な画像構造の観点から画像データを分析し、次に分析ステップからの局所的な情報に基づいてフィルタリングを制御することで、通常、よりシンプルなアプローチと比較して、より高いレベルのノイズ除去が得られます。
この分野の例としては、 インペインティング が挙げられます。
システムメソッド
コンピュータービジョンシステムの構成は、アプリケーションに大きく依存します。特定の測定または検出問題を解決するスタンドアロンアプリケーションであるシステムもあれば、機械アクチュエータの制御、プランニング、情報データベース、マンマシンインターフェースなどのサブシステムも含む、より大規模な設計のサブシステムを構成するシステムもあります。コンピュータービジョンシステムの具体的な実装は、その機能が事前に指定されているか、あるいは運用中に一部を学習または変更できるかによっても異なります。多くの機能はアプリケーションに固有のものですが、多くのコンピュータービジョンシステムに共通する典型的な機能も存在します。
画像取得 – デジタル画像は、1つまたは複数の 画像センサー によって生成されます。画像センサーには、様々な種類の光感度カメラに加え、 距離センサー 、断層撮影装置、レーダー、超音波カメラなどが含まれます。センサーの種類に応じて、得られる画像データは通常の2D画像、3Dボリューム、または画像シーケンスとなります。ピクセル値は通常、1つまたは複数のスペクトルバンド(グレー画像またはカラー画像)における光の強度に対応しますが、深度、音波または電磁波の吸収または反射率、磁気 共鳴画像 など、様々な物理的測定値と関連付けられることもあります。 [38]
前処理 – コンピュータービジョンの手法を画像データに適用して特定の情報を抽出する前に、通常、その手法が示唆する特定の仮定を満たすことを確認するためにデータを処理する必要があります。例としては、以下のようなものがあります。
画像の座標系が正しいことを確認するために再サンプリングします。
センサーノイズによって誤った情報が導入されないようにするためのノイズ低減。
関連情報を検出できるようにコントラストを強化します。
ローカルに適切なスケールで画像構造を強化する スケール空間表現。
特徴抽出 – 画像データから様々なレベルの複雑さの画像特徴が抽出されます。 [38] このような特徴の典型的な例は次のとおりです。
より複雑な特徴は、テクスチャ、形状、または動きに関連している場合があります。
検出 / セグメンテーション – 処理の過程のある時点で、画像のどの点または領域がさらなる処理に関連しているかが決定されます。 [38] 例は以下のとおりです。
特定の関心ポイントのセットの選択。
特定の対象オブジェクトを含む 1 つまたは複数の画像領域を分割します。
画像を前景、オブジェクトグループ、単一のオブジェクト、または 顕著な オブジェクト [50] 部分(空間分類シーン階層とも呼ばれる)で構成されるネストされたシーンアーキテクチャに分割し、 [51] 視覚 的な顕著性は 空間的 および 時間的な注意 として実装されることが多い 。
1つまたは複数のビデオを、時間的な意味の連続性を維持しながら、フレームごとの前景マスクのシリーズに 分割または 共同分割すること。 [52] [53]
高レベル処理 – この段階では、入力は通常、点群や画像領域などの小さなデータセットであり、特定のオブジェクトが含まれていると想定されます。 [38] 残りの処理では、例えば以下のような処理が行われます。
データがモデルベースおよびアプリケーション固有の仮定を満たしていることの検証。
オブジェクトのポーズやサイズなど、アプリケーション固有のパラメータの推定。
画像認識 - 検出されたオブジェクトをさまざまなカテゴリに分類します。
画像登録 – 同じオブジェクトの 2 つの異なるビューを比較して組み合わせます。
意思決定 申請に必要な最終決定を下す。 [38] 例えば、
自動検査アプリケーションの合否。
認識アプリケーションにおける一致/不一致。
医療、軍事、セキュリティ、認識アプリケーションにおける人間によるさらなるレビューのためのフラグ。
画像理解システム
画像理解システム(IUS)には、以下の3つの抽象化レベルが含まれます。低レベルには、エッジ、テクスチャ要素、領域などの画像プリミティブが含まれます。中レベルには、境界、サーフェス、ボリュームが含まれます。高レベルには、オブジェクト、シーン、イベントが含まれます。これらの要件の多くは、今後の研究課題となっています。
これらのレベルの IUS 設計における表現要件は、プロトタイプ概念の表現、概念の編成、空間知識、時間知識、スケーリング、比較と差別化による説明です。
推論とは、既知の事実から、明示的に表現されていない新たな事実を導き出すプロセスを指すのに対し、制御とは、処理の特定の段階で、多くの推論、探索、マッチング手法の中からどの手法を適用すべきかを選択するプロセスを指す。IUSにおける推論と制御の要件は、探索と仮説の活性化、マッチングと仮説検証、期待の生成と利用、注意の変化と焦点、確信と信念の強さ、推論と目標達成である。 [54]
ハードウェア
LiDAR センサー を搭載した2020年モデルの iPad Pro
コンピュータービジョンシステムには様々な種類がありますが、いずれも電源、少なくとも1つの画像取得デバイス(カメラ、CCDなど)、プロセッサ、制御・通信ケーブル、あるいは何らかの無線接続機構といった基本要素で構成されています。さらに、実用的なビジョンシステムには、ソフトウェアに加え、システムを監視するためのディスプレイも含まれています。屋内空間向けのビジョンシステムは、多くの産業用システムと同様に、照明システムを備えており、制御された環境に設置されることもあります。さらに、完成したシステムには、カメラ支持台、ケーブル、コネクタなど、多くの付属品が含まれます。
ほとんどのコンピューター ビジョン システムでは、可視光カメラを使用して、最大 60 フレーム/秒 (通常はそれよりはるかに遅い) のフレーム レートでシーンを受動的に表示します。
いくつかのコンピューター ビジョン システムでは、構造化光 3D スキャナー 、 サーモグラフィー カメラ 、ハイパースペクトル イ メージャー、 レーダー イメージング、LIDAR スキャナー 、 磁気共鳴画像、 サイドスキャン ソナー 、 合成 開口ソナーなど、アクティブ照明または可視光以外のもの、またはその両方を使用した画像取得 ハード ウェアを使用します。このようなハードウェアは「画像」をキャプチャし、 その後、可視光画像の処理に使用されるのと同じコンピューター ビジョン アルゴリズムを使用して処理されることがよくあります。
従来の放送・民生用ビデオシステムは毎秒30フレームの速度で動作していましたが、 デジタル信号処理 と 民生用グラフィックスハードウェア の進歩により、毎秒数百から数千フレームのリアルタイムシステムで高速な画像取得、処理、表示が可能になりました。ロボット工学のアプリケーションでは、高速リアルタイムビデオシステムが非常に重要であり、特定のアルゴリズムに必要な処理を簡素化できる場合が多くあります。高速プロジェクターと組み合わせることで、高速画像取得により3D計測や特徴追跡が可能になります。 [55]
エゴセントリック ビジョン システムは、一人称視点で写真を自動的に撮影するウェアラブル カメラで構成されています。
2016年現在、 ビジョンプロセッシングユニットは、 CPUと グラフィックスプロセッシングユニット (GPU)を補完する新しいクラスのプロセッサとして登場しています 。 [56]
参照
リスト
参考文献
^ ab ラインハルト・クレット (2014). 簡潔なコンピュータビジョン 。スプリンガー。 ISBN
978-1-4471-6320-6 。
^ Linda G. Shapiro 、George C. Stockman (2001). コンピュータビジョン . Prentice Hall. ISBN
978-0-13-030796-5 。
^ Tim Morris (2004). コンピュータビジョンと画像処理 . Palgrave Macmillan. ISBN 978-0-333-99451-1 。
^ Bernd Jähne著、Horst Haußecker著 (2000). 『コンピュータビジョンとその応用:学生と実践者のためのガイド』 Academic Press. ISBN 978-0-13-085198-7 。
^ Dana H. Ballard; Christopher M. Brown (1982). コンピュータビジョン. Prentice Hall. ISBN 978-0-13-165316-0 。
^ Huang, T. (1996-11-19). Vandoni, Carlo E (編). コンピュータビジョン:進化と未来 (PDF) . 第19回CERNコンピューティングスクール. ジュネーブ: CERN. pp. 21– 25. doi :10.5170/CERN-1996-008.21. ISBN 978-92-9083-095-5 2018年2月7日時点のオリジナルより アーカイブ (PDF)
^ ミラン・ソンカ、ヴァーツラフ・フラヴァツ、ロジャー・ボイル (2008). 画像処理、解析、マシンビジョン . トムソン. ISBN 978-0-495-08252-1 。
^ http://www.bmva.org/visionoverview 2017年2月16日アーカイブ、 Wayback Machine より英国機械視覚協会およびパターン認識協会 2017年2月20日閲覧
^ マーフィー、マイク (2017年4月13日). 「Star Trekの医療用スキャナー「トリコーダー」が現実に近づく」. 2017年7月2日時点のオリジナルよりアーカイブ 。 2017年 7月18日 閲覧。
^ コンピュータビジョンの 原理、アルゴリズム、アプリケーション、学習 第5版、ER Davies Academic Press、Elsevier 2018 ISBN 978-0-12-809284-2
^ abcd Richard Szeliski (2010年9月30日). コンピュータビジョン:アルゴリズムとアプリケーション. Springer Science & Business Media. pp. 10– 16. ISBN 978-1-84882-935-0 。
^ Sejnowski, Terrence J. (2018). 『ディープラーニング革命 』 ケンブリッジ(マサチューセッツ州)、ロンドン(イギリス):MITプレス、p. 28. ISBN 978-0-262-03803-4 。
^ Papert, Seymour (1966-07-01). 「サマービジョンプロジェクト」. MIT AIメモ (1959 - 2004) . hdl :1721.1/6125.
^ マーガレット・アン・ボーデン(2006年)『心は機械:認知科学の歴史』クラレンドン・プレス、781頁 。ISBN 978-0-19-954316-8 。
^ 金出武雄(2012年12月6日). 三次元マシンビジョン. Springer Science & Business Media. ISBN 978-1-4613-1981-8 。
^ Nicu Sebe、Ira Cohen、Ashutosh Garg、Thomas S. Huang(2005年6月3日)。『コンピュータビジョンにおける機械学習』Springer Science & Business Media、 ISBN 978-1-4020-3274-5 。
^ William Freeman、Pietro Perona、Bernhard Scholkopf (2008). 「ゲスト論説:コンピュータビジョンのための機械学習」. International Journal of Computer Vision . 77 (1): 1. doi : 10.1007/s11263-008-0127-7 . hdl : 21.11116/0000-0003-30FB-C . ISSN 1573-1405.
^ LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). 「ディープラーニング」 (PDF) . Nature . 521 (7553): 436– 444. Bibcode :2015Natur.521..436L. doi :10.1038/nature14539. PMID 26017442. S2CID 3074096.
^ Ilg, Eddy; Mayer, Nikolaus; Saikia, Tonmoy; Keuper, Margret; Dosovitskiy, Alexey; Brox, Thomas (2016). 「FlowNet 2.0:ディープネットワークによるオプティカルフロー推定の進化」. arXiv : 1612.01925 [cs.CV].
^ 焦、李城。張、范;リュウ、ファン。ヤン・シュユアン。リー、リンリン。馮、志西。ク・ロン(2019)。 「ディープラーニングベースの物体検出に関する調査」。 IEEE アクセス 。 7 : 128837 ~ 128868。arXiv : 1907.09408 。 Bibcode :2019IEEEA...7l8837J。 土井 :10.1109/ACCESS.2019.2939201。 S2CID 198147317。
^ Ferrie, C.; Kaiser, S. (2019). 赤ちゃんのためのニューラルネットワーク . Sourcebooks. ISBN 978-1-4926-7120-6 。
^ ab シュテーガー、カールステン;マルクス・ウルリッヒ;クリスチャン・ヴィーデマン (2018)。マシン ビジョン アルゴリズムとアプリケーション (第 2 版)。ワインハイム: Wiley-VCH 。 p. 1.ISBN 978-3-527-41365-2 . 2023年3月15日時点のオリジナルよりアーカイブ 。 2018年1月30日 閲覧。
^ マレー、ドン、カレン・ジェニングス。「移動ロボットのためのステレオビジョンベースのマッピングとナビゲーション」(2020年10月31日アーカイブ、 Wayback Machine )国際ロボティクス・オートメーション会議論文集。第2巻。IEEE、1997年。
^ Andrade, Norberto Almeida. 「美容分野における計算視覚とビジネスインテリジェンス - Instagramを通じた分析」 (PDF) . Journal of Marketing Management . American Research Institute for Policy Development. 2024年3月11日時点のオリジナルよりアーカイブ。 2024年 3月11日 閲覧 。
^ abc Soltani, AA; Huang, H.; Wu, J.; Kulkarni, TD; Tenenbaum, JB (2017). 「深層生成ネットワークを用いたマルチビュー深度マップとシルエットのモデリングによる3D形状の合成」. 2017 IEEE コンピュータビジョンおよびパターン認識会議 (CVPR) . pp. 1511– 1519. doi :10.1109/CVPR.2017.269. hdl : 1721.1/126644 . ISBN 978-1-5386-0457-1 . S2CID 31373273。
^ Turek, Fred (2011年6月). 「マシンビジョンの基礎:ロボットに視覚を与える方法」 NASA Tech Briefs Magazine 35 ( 6). 60~62ページ
^ 「自動ランダムビンピッキングの未来」。2018年1月11日時点のオリジナルよりアーカイブ 。 2018年1月10日 閲覧。
^ Esteva, Andre; Chou, Katherine; Yeung, Serena; Naik, Nikhil; Madani, Ali; Mottaghi, Ali; Liu, Yun; Topol, Eric; Dean, Jeff; Socher, Richard (2021-01-08). 「ディープラーニングを活用した医療用コンピュータービジョン」. npj Digital Medicine . 4 (1): 5. doi :10.1038/s41746-020-00376-2. ISSN 2398-6352. PMC 7794558. PMID 33420381 .
^ Chervyakov, NI; Lyakhov, PA; Deryabin, MA; Nagornov, NN; Valueva, MV; Valuev, GV (2020). 「Residue Number System-Based Solution for Reducing the Hardware Cost of a Convolutional Neural Network」. Neurocomputing . 407 : 439– 453. doi :10.1016/j.neucom.2020.04.018. S2CID 219470398. 畳み込みニューラルネットワーク(CNN)は、コンピュータービジョン、音声認識、バイオインフォマティクスにおけるタンパク質配列の識別、生産管理、金融における時系列分析など、現在幅広いアプリケーションで使用されているディープラーニングアーキテクチャです。
^ Wäldchen, Jana; Mäder, Patrick (2017-01-07). 「コンピュータビジョン技術を用いた植物種の同定:体系的な文献レビュー」. Archives of Computational Methods in Engineering . 25 (2): 507– 543. doi :10.1007/s11831-016-9206-z. ISSN 1134-3060. PMC 6003396. PMID 29962832 .
^ Aghamohammadesmaeilketabforoosh, Kimia; Nikan, Soodeh; Antonini, Giorgio; Pearce, Joshua M. (2024年1月). 「ビジョントランスフォーマーとアテンションベース畳み込みニューラルネットワークによるイチゴの病害および品質検出の最適化」. Foods . 13 (12): 1869. doi : 10.3390/foods13121869 . ISSN 2304-8158. PMC 11202458. PMID 38928810 .
^ 「ウエスタン大学で開発された新たなAIモデルがイチゴの病気を検出し、廃棄に狙いを定める」 ロンドン 2024年9月13日. 2024年9月19日 閲覧 。
^ 「コンピュータービジョンの応用」 GeeksforGeeks . 2020年6月30日. 2025年4月27日 閲覧 。
^ 「世界の産業用マシンビジョン市場の成長分析 - 規模と予測2024-2028年」 www.technavio.com . 2025年5月14日 閲覧 。
^ Laviola, Erin. 「コンピュータービジョンとは何か、そして医療現場でどのように使われているのか?」 HealthTech . 2025年5月14日 閲覧 。
^ 「コンピュータービジョン - 軍事市場における人工知能の展望」 www.grandviewresearch.com . 2025年5月14日 閲覧 。
^ Li, Mengfang; Jiang, Yuanyuan; Zhang, Yanzhou; Zhu, Haisheng (2023). 「ディープラーニングアルゴリズムを用いた医用画像解析」. Frontiers in Public Health . 11 1273253. Bibcode :2023FrPH...1173253L. doi : 10.3389/fpubh.2023.1273253 . ISSN 2296-2565. PMC 10662291. PMID 38026291 .
^ abcdef E. Roy Davies (2005). 『マシンビジョン:理論、アルゴリズム、実用性 』 モーガン・カウフマン. ISBN 978-0-12-206093-9 。
^ 安藤 光人; 武井 俊伸; 持山 宏美 (2020-03-03). 「微小起伏面の形状推定のための柔軟構造を有するゴム人工皮膚層」 ROBOMECH Journal . 7 (1): 11. doi : 10.1186/s40648-020-00159-0 . ISSN 2197-4225.
^ チェ・スンヒョン; 田原健二 (2020-03-12). 「視覚・触覚指先センサーを備えた多指ロボットハンドによる器用な物体操作」 ROBOMECH Journal . 7 (1): 14. doi : 10.1186/s40648-020-00162-5 . ISSN 2197-4225.
^ Garg, Hitendra (2020-02-29). 「従来のコンピュータビジョンアプリケーションを用いたドライバーの眠気検知」. 2020 International Conference on Power Electronics & IoT Applications in Renewable Energy and its Control (PARC) . pp. 50– 53. doi :10.1109/PARC49193.2020.236556. ISBN 978-1-7281-6575-2 . S2CID 218564267。
^ Hasan, Fudail; Kashevnik, Alexey (2021-05-14). 「コンピュータビジョンに基づく現代の眠気検知アルゴリズムの最新分析」. 2021年 第29回オープンイノベーション協会会議 (FRUCT) . pp. 141– 149. doi :10.23919/FRUCT52173.2021.9435480. ISBN 978-952-69244-5-8 . S2CID 235207036. 2022年6月27日時点のオリジナルよりアーカイブ 。 2022年11月6日 閲覧。
^ バラスンダラム、A;アショクマール、S;コタンダラマン、D;コラ、シーナナイク。スダルシャン、E;ハルシャベルダン、A (2020-12-01)。 「顔パラメータを使用したコンピュータビジョンベースの疲労検出」。 IOP カンファレンス シリーズ: 材料科学と工学 。 981 (2) 022005。 書誌コード :2020MS&E..981b2005B。 土井 : 10.1088/1757-899x/981/2/022005 。 ISSN 1757-899X。 S2CID 230639179。
^ ab Bruijning, Marjolein; Visser, Marco D.; Hallmann, Caspar A.; Jongejans, Eelke; Golding, Nick (2018). "trackdem: rで動画から個体数とサイズ分布を取得するための自動粒子追跡". Methods in Ecology and Evolution . 9 (4): 965– 973. Bibcode :2018MEcEv...9..965B. doi : 10.1111/2041-210X.12975 . hdl : 2066/184075 . ISSN 2041-210X.
^ David A. Forsyth、Jean Ponce (2003). 『コンピュータビジョン:現代的アプローチ 』 Prentice Hall. ISBN 978-0-13-085198-7 。
^ Forsyth, David; Ponce, Jean (2012). コンピュータビジョン:現代的アプローチ . ピアソン.
^ ab ルサコフスキー、オルガ;鄧、佳。スー、ハオ。クラウス、ジョナサン。サシーシュ、サンジーブ。マ、ショーン。黄志恒。カルパシー、アンドレイ。コスラ、アディティヤ。バーンスタイン、マイケル。バーグ、アレクサンダー C. (2015 年 12 月)。 「ImageNet 大規模視覚認識チャレンジ」。 コンピュータビジョンの国際ジャーナル 。 115 ( 3) : 211–252.arXiv : 1409.0575 。 土井 :10.1007/s11263-015-0816-y。 hdl : 1721.1/104944 。 ISSN 0920-5691。 S2CID 2930547。2023 年 3 月 15 日にオリジナルからアーカイブされました 。 2020年11月20日 閲覧 。
^ Quinn, Arthur (2022年10月9日). 「AI画像認識:現代ライフスタイルの避けられないトレンド」. TopTen.ai . 2022年12月2日時点のオリジナルよりアーカイブ。 2022年12月23日 閲覧 。
^ バレット、リサ・フェルドマン、アドルフス、ラルフ、マルセラ、ステイシー、マルティネス、アレイクス・M.、ポラック、セス・D.(2019年7月)「感情表現の再考:人間の顔の動きから感情を推測することの課題」『 公共の利益のための心理科学 』 20 (1): 1– 68. doi :10.1177/1529100619832930. ISSN 1529-1006. PMC 6640856. PMID 31313636 .
^ A. Maity (2015). 「即興的な顕著な物体の検出と操作」. arXiv : 1511.02999 [cs.CV].
^ Barghout, Lauren. 「ファジー空間分類群カットを用いた画像セグメンテーションへの視覚的分類アプローチは、文脈的に関連性の高い領域を生み出す 2018年11月14日アーカイブ、 Wayback Machine 」知識ベースシステムにおける情報処理と不確実性の管理 Springer International Publishing, 2014.
^ Liu, Ziyi; Wang, Le; Hua, Gang; Zhang, Qilin; Niu, Zhenxing; Wu, Ying; Zheng, Nanning (2018). 「結合型動的マルコフネットワークによるビデオオブジェクトの発見とセグメンテーションの共同研究」 (PDF) . IEEE Transactions on Image Processing . 27 (12): 5840– 5853. Bibcode :2018ITIP...27.5840L. doi :10.1109/tip.2018.2859622. ISSN 1057-7149. PMID 30059300. S2CID 51867241. 2018年9月7日時点 のオリジナル (PDF)からのアーカイブ。 2018年9月14日 閲覧 。
^ Wang, Le; Duan, Xuhuan; Zhang, Qilin; Niu, Zhenxing; Hua, Gang; Zheng, Nanning (2018-05-22). 「Segment-Tube: フレームごとのセグメンテーションを用いたトリミングされていない動画における時空間的な動作の局在化」 (PDF) . Sensors . 18 (5): 1657. Bibcode :2018Senso..18.1657W. doi : 10.3390/s18051657 . ISSN 1424-8220. PMC 5982167. PMID 29789447. 2018年9月7日時点のオリジナルより アーカイブ (PDF) .
^ シャピロ, スチュアート・C. (1992). 『人工知能百科事典 第1巻 』. ニューヨーク: ジョン・ワイリー・アンド・サンズ社. pp. 643– 646. ISBN 978-0-471-50306-4 。
^ 加賀美 真悟 (2010). 「リアルタイムで世界を知覚する高速ビジョンシステムとプロジェクター」. 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Workshops . Vol. 2010. pp. 100– 107. doi :10.1109/CVPRW.2010.5543776. ISBN 978-1-4244-7029-7 . S2CID 14111100。
^ Seth Colaner (2016年1月3日). 「VR/AR向け第3のプロセッサ:MovidiusのMyriad 2 VPU」 www.tomshardware.com . 2023年3月15日時点のオリジナルよりアーカイブ 。 2016年 5月3日 閲覧。
さらに読む
外部リンク
USC Iris コンピュータビジョンカンファレンスリスト
ウェブ上のコンピューター ビジョン論文 – 最も関連性の高いコンピューター ビジョン カンファレンスの論文の完全なリスト。
Computer Vision Online 2011年11月30日アーカイブ - コンピュータビジョン関連のニュース、ソースコード、データセット、求人情報
CVonline – Bob Fisher のコンピューター ビジョン大要。
英国マシンビジョン協会 – BMVCおよびMIUA会議 、 Annals of the BMVA (オープンソースジャーナル)、 BMVAサマースクール 、1日会議 を通じて英国内のコンピュータービジョン研究を支援しています。
Computer Vision Container、Joe Hoeller GitHub: GPUアクセラレーションを活用したコンピュータビジョンアプリケーション向けに広く採用されているオープンソースコンテナ。研究者、大学、民間企業、そして米国政府にも利用されています。