逆画像検索
Google 画像検索を使った逆画像検索

逆画像検索は、コンテンツベース画像検索（CBIR）のクエリ技術であり、CBIRシステムにサンプル画像を提供し、それに基づいて検索を行います。情報検索の観点から、サンプル画像は非常に有用です。特に、逆画像検索は検索語がないことを特徴としています。これにより、ユーザーは正しい結果が返されるかどうかわからないキーワードや用語を推測する必要がなくなります。また、逆画像検索では、特定のサンプル画像に関連するコンテンツ[ 1 ]や画像の人気度、操作されたバージョンや派生作品を発見することもできます。[ 2 ]

ビジュアル検索エンジンは、逆画像検索を通じてワールドワイドウェブ上の情報を検索するために設計された検索エンジンです。情報は、ウェブページ、場所、他の画像、その他の種類のドキュメントなどから構成されます。このタイプの検索エンジンは、主にモバイルインターネット上で未知の物体（未知の検索クエリ）の画像を検索するために使用されます。例としては、外国の都市にある建物などが挙げられます。これらの検索エンジンは、コンテンツベースの画像検索技術を採用していることが多いです。

ビジュアル検索エンジンは、認識できるアルゴリズムに基づいて画像やパターンを検索し、選択的または適用パターン マッチ技術に基づいて関連情報を提供します。

用途

逆画像検索は次の目的で使用できます。[ 3 ]

  • 画像のソースを見つけます。
  • より高解像度のバージョンを見つけてください。
  • 画像が表示されているウェブページを見つけます。
  • コンテンツ作成者を見つけます。
  • 画像に関する情報を取得します。

アルゴリズム

一般的に使用される逆画像検索アルゴリズムには以下のものがある: [ 4 ]

視覚情報検索者

GOSの例を使用して画像検索ツールで表示された結果のスクリーンショット

画像検索エンジンは、画像を検索するために設計された検索エンジンです。検索は、キーワード、画像、または画像へのウェブリンクに基づいて行うことができます。検索結果は、メタデータ、色の分布、形状などの検索基準と、ブラウザが使用する検索手法によって異なります。

画像から検出可能な領域に基づいて例を通じて実現される検索の図

画像検索技術

画像検索で現在使用されている 2 つの手法:

メタデータによる検索：画像検索は、キーワードやテキストなど、画像に関連付けられたメタデータの比較に基づいており、関連度の高い順に並べられた画像セットを用いて行われます。各画像に関連付けられたメタデータは、画像のタイトル、形式、色などを参照でき、手動または自動で生成できます。このメタデータ生成プロセスは、オーディオビジュアルインデックスと呼ばれます。

例による検索：この手法（逆画像検索とも呼ばれます）では、コンテンツベースの画像検索（コンピュータビジョン）技術を用いて画像間の比較を行うことで検索結果を得ます。検索では、画像の色、形状、テクスチャ、その他画像から抽出可能な視覚情報など、画像の内容が調べられます。このシステムは計算量が多くなりますが、メタデータによる検索よりも効率的で信頼性が高いです。

両方の検索技術を組み合わせた画像検索ツールもあります。例えば、最初の検索はテキスト入力で行われ、その後、取得した画像を使用して検索を絞り込みます。

動画検索エンジンは、ネット上の動画を検索するために設計された検索エンジンです。動画検索エンジンの中には、インターネット上で直接検索処理を行うものもあれば、検索対象となる動画を外部から参照するものもあります。また、動画の形式や長さを検索パラメータとして使用できるものもあります。通常、検索結果には動画のミニチュアキャプチャが添付されます。

ビデオ検索技術

現在、ほぼすべての動画検索ツールは、キーワード（メタデータ検索）に基づいて検索を行っています。これらのキーワードは、動画のタイトル、動画に付随するテキスト、または動画制作者によって定義されることがあります。このタイプの検索の例として、YouTubeが挙げられます。

3Dモデル検索

3Dモデル検索ツールは、データベースまたはネットワークから3Dモデリングオブジェクトのファイルを見つけることを目的としています。一見すると、この種の検索ツールの実装は不要に思えるかもしれませんが、インターネット上の文書が継続的に増加しているため、情報のインデックス作成は日々必要になっています。

3Dモデルの検索テクニック

3Dモデルの検索テクニック

これらは、従来のテキストベースの検索エンジン（キーワード／タグ）で使用されてきました。これらのタグやキーワードは、インデックスされた資料の著者またはインターネットユーザーが提供したものです。しかし、必ずしも効果的ではないため、最近では、テキスト検索と2D図面、3D図面、3Dモデルの比較検索を組み合わせた検索エンジンの実装において検討されています。

プリンストン大学は、これらすべてのパラメータを組み合わせて検索を実行し、検索の効率を高める検索エンジンを開発しました。[ 6 ]

モバイル画像検索ツールは、携帯電話専用に設計された検索エンジンの一種です。携帯電話で撮影した画像や特定の単語（キーワード）を使って、インターネット上のあらゆる情報を検索できます。モバイルビジュアルサーチソリューションは、画像認識ソフトウェア機能を自社ブランドのモバイルアプリケーションに統合することを可能にします。モバイルビジュアルサーチ（MVS）は、オンラインメディアとオフラインメディアのギャップを埋め、顧客をデジタルコンテンツに結び付けることを可能にします。

導入

携帯電話は、高解像度カメラ、カラーディスプレイ、ハードウェアアクセラレーションによるグラフィックス機能を備えた強力な画像・動画処理デバイスへと進化しました。また、GPS（全地球測位システム）の搭載やブロードバンド無線ネットワークへの接続もますます増えています。こうした進化により、カメラ付き携帯電話を用いてユーザーの視界内にある物体に関する検索クエリを開始する、新たな種類のアプリケーションが実現可能になりました（図1）。このようなアプリケーションは、例えば、商品の識別、比較ショッピング、映画、コンパクトディスク（CD）、不動産、印刷媒体、芸術作品に関する情報の検索などに利用できます。

プロセス

通常、このタイプの検索エンジンは、画像の内容、形状、テクスチャ、色を使用してデータベース内で比較し、クエリのおおよその結果を提供する、例示によるクエリまたは例示による画像クエリの手法を使用します。

携帯電話でのこれらの検索で使用されるプロセスは次のとおりです。

まず、画像はサーバーアプリケーションに送信されます。サーバー上で、画像は複数の分析チームによって分析されます。各チームは画像を構成する様々な分野を専門としているためです。その後、各チームは送信された画像にそれぞれの専門分野が含まれているかどうかを判断します。

この手順全体が完了すると、中央コンピュータがデータを分析し、各チームの効率で分類された結果のページを作成し、最終的に携帯電話に送信します。

ヤンデックス

Yandex Imagesは、世界中の画像と写真の逆検索機能を提供しています。このサイトは、多くのサイトで使用されている標準的なコンテンツベース画像検索（CBIR）技術を採用していますが、さらに人工知能ベースの技術も活用し、クエリに基づいて詳細な検索結果を検索しています。[ 7 ]ユーザーは画像をサイトのツールバーにドラッグ＆ドロップすることで、インターネット上で類似画像を検索できます。Yandex Imagesは、一般的なソーシャルメディアサイトだけでなく、あまり知られていないソーシャルメディアサイトも検索対象としており、コンテンツ所有者に画像や写真の知的財産権の盗用を追跡する手段を提供しています。

Google画像

Googleの画像検索は、逆画像検索を用いた機能で、ユーザーは画像をアップロードするか画像のURLをコピーすることで関連画像を検索できます。Googleは、投稿された画像を分析し、数学モデルを構築することでこれを実現します。その後、Googleのデータベース内の他の画像と比較し、一致する結果や類似する結果を返します。画像に関するメタデータ（説明など）が利用可能な場合は、それらも使用します。2022年にこの機能はGoogleのデフォルトの画像検索方法としてGoogleレンズに置き換えられましたが、従来の画像検索機能はGoogleレンズ内で引き続き利用できます。[ 8 ]

ティンアイ

TinEyeは、逆画像検索に特化した検索エンジンです。画像を送信すると、TinEyeはその画像の「ユニークでコンパクトなデジタル署名（フィンガープリント）」を作成し、他のインデックス画像と照合します。[ 9 ]この手順により、送信された画像に大幅に編集を加えたバージョンであっても照合できますが、通常、類似した画像は検索結果に表示されません。[ 10 ]

レンソ.ai

Lenso.aiは、人工知能を使って画像ソースを識別し、視覚的に類似した画像を検出し、[ 11 ]顔認識検索を実行するWebベースの逆画像検索エンジンです。[ 12 ]

ピクシー

Pixsyの逆画像検索技術は、Pixsyプラットフォームにアップロードされた画像について、パブリックインターネット上で一致する画像[ 13 ]を検出します。 [ 14 ]新しい一致は自動的に検出され、ユーザーに警告が送信されます。Pixsyは、画像所有者の著作物の無断使用に対して、損害賠償回収サービス[ 15 ] [ 16 ]を提供しています。Pixsyは、世界中の25以上の法律事務所や弁護士と提携し、著作権侵害の解決に取り組んでいます。Pixsyは、Flickrプラットフォームとユーザーのための戦略的な画像監視サービスです。[ 17 ]

イーベイ

eBay ShopBotは、ユーザーがアップロードした写真から商品を見つけるために逆画像検索を使用しています。eBayはカテゴリ認識にResNet-50ネットワークを使用し、画像ハッシュはGoogle Bigtableに保存されています。Apache Sparkジョブは、画像ハッシュ抽出のためにGoogle Cloud Dataprocによって実行され、画像ランキングサービスはKubernetesによって展開されています。[ 18 ]

SKプラネット

SK Planetは、自社のeコマースウェブサイトで関連するファッションアイテムを見つけるために、逆画像検索を利用しています。同社は、TensorFlow Inception-v3をベースに、実稼働環境での使用に耐える収束性と汎化速度を備えたビジョンエンコーダネットワークを開発しました。多クラス分類にはリカレントニューラルネットワークを使用し、ファッション商品の関心領域検出にはFaster R-CNNを採用しています。SK Planetの逆画像検索システムは、100人月未満で構築されました。[ 19 ]

アリババ

アリババは2014年に拍立淘（拍立淘、文字通りカメラで買い物をする）アプリケーションをリリースしました。拍立淘（拍立淘）は、ユーザーが検索対象の写真を撮ることで、アリババのEコマースプラットフォーム上の商品を検索できるアプリケーションです。拍立淘アプリケーションは、背景の乱れに影響を受けずに検出マスクと正確な識別特徴を発見するために、ジョイント検出と特徴学習のためのブランチを備えたディープラーニングCNNモデルを使用しています。カテゴリ予測と特徴学習のベースモデルには、GoogLeNet V1が採用されています。 [ 20 ] [ 21 ]

ピンタレスト

Pinterestは2014年に新興企業VisualGraphを買収し、そのプラットフォームにビジュアル検索を導入した。[ 22 ] Pinterestは2015年にACM知識発見およびデータマイニング会議で論文を発表し、システムのアーキテクチャを公開した。パイプラインは、オープンソースのCaffe畳み込みニューラルネットワークフレームワークであるApache Hadoop 、バッチ処理にCascading 、メッセージングにPinLater、ストレージにApache HBaseを使用している。ローカル特徴、ディープ特徴、顕著な色シグネチャ、顕著なピクセルなどの画像特性は、ユーザーのアップロードから抽出される。このシステムはAmazon EC2によって運用されており、Pinterestへの毎日の画像アップロードを処理するのに必要なのは5つのGPUインスタンスのクラスターのみである。逆画像検索を使用することで、Pinterestはファッションオブジェクト（靴、ドレス、メガネ、バッグ、時計、パンツ、ショートパンツ、ビキニ、イヤリングなど）から視覚的特徴を抽出し、類似した製品の推奨を提供することができる。[ 23 ] [ 24 ]

JD.com

JD.comは、Middleware '18カンファレンスにおいて、リアルタイム画像検索システムの設計と実装を公開しました。査読済みの論文は、JDの分散型階層画像特徴抽出、インデックス作成、検索システムに使用されているアルゴリズムに焦点を当てており、このシステムは1日あたり3億人のアクティブユーザーを抱えています。このシステムは、2018年に本番環境に導入された時点で、1時間あたり8,000万回のデータベース更新に対応できました。[ 25 ]

ビング

Microsoft Bingは、KDD'18カンファレンスにおいて、逆画像検索システムのアーキテクチャを公開しました。論文によると、ユーザーが送信したクエリ画像から、ディープニューラルネットワークエンコーダ、カテゴリ認識機能、顔認識機能、色彩特徴、重複検出機能など、様々な特徴を用いてコンテンツを説明するとのことです。[ 26 ]

アマゾン

Amazon.comは、KDD'22カンファレンスで発表された論文において、ファッションおよびホームプロダクト向けのビジュアル検索エンジン「Amazon Shop the Look」のアーキテクチャを公開しました。この論文では、画像合成に基づくデータ拡張による検索パフォーマンスの最適化と精度向上など、実稼働環境での導入から得られた教訓が解説されています。[ 27 ]

研究システム

マイクロソフトリサーチアジア北京ラボは、IEEE Proceedings of the IEEEにArista-SS（類似画像検索）およびArista-DS（重複画像検索）システムに関する論文を発表しました。Arista-DSは、計算コストとメモリコストを削減するため、画像全体の特徴に対して主成分分析などの重複画像検索アルゴリズムのみを実行します。Arista-DSは10台のサーバーで20億枚の画像に対する重複画像検索を実行できますが、類似画像を検出できないというトレードオフがあります。[ 28 ]

オープンソース実装

2007年、PuzzleライブラリがISCライセンスの下でリリースされました。Puzzleは、画像がサイズ変更、再圧縮、再色付け、あるいは若干の変更を受けた後でも、視覚的に類似した画像を検索できるように設計されています。[ 29 ]

イメージマッチオープンソースプロジェクトは2016年にリリースされました。このプロジェクトはApacheライセンスの下でライセンスされており、 Pythonで書かれた逆画像検索エンジンを実装しています。[ 30 ]

パズルライブラリと画像マッチプロジェクトはどちらもIEEE ICIP会議で公開されたアルゴリズムを使用しています。[ 31 ]

2017年、FacebookはMITライセンスの下でFAISSライブラリをリリースしました。[ 32 ] FAISSは類似性検索と密ベクトルのクラスタリングを実行するために使用でき、逆画像検索エンジンや画像類似性検索エンジンで使用されます。[ 33 ] [ 34 ]

2019年にO'Reillyから出版された書籍では、数時間でシンプルな逆画像検索システムを構築する方法が解説されています。本書では、画像特徴抽出と類似性検索に加え、GPUを用いたスケーラビリティや検索精度向上のチューニングといった高度なトピックも取り上げられています。[ 35 ]このシステムのコードはGitHubで無料で公開されています。[ 36 ]

逆ビデオ検索を実行するには、驚くほど高い処理能力が必要になります。ビデオをアップロードするだけで一致する結果を見つけられるようなシンプルなツールは存在しません。現状では、逆ビデオ検索を正常に実行できる技術は存在しません。[ 37 ] [ 38 ]

逆画像検索システムの製造

参照

ウィキメディア コモンズには、逆画像検索に関連するメディアがあります。

参考文献

  1. ^ 「画像で検索する方法」 。 2013年11月2日閲覧。
  2. ^ 「Frompoで動画検索」 Frompo.com 2013年11月2日閲覧。
  3. ^ 「FAQ - TinEye - TinEyeを使う理由？」 TinEye . 2019年7月22日時点のオリジナルよりアーカイブ。2014年12月2日閲覧。
  4. ^大規模な部分重複Web画像検索のバンドル機能Microsoft。
  5. ^ SIFTアルゴリズムを使用した新しいWeb画像検索エンジンcomputer.org
  6. ^ Funkhouser, Thomas; Min, Patrick; Kazhdan, Michael; Chen, Joyce; Halderman, Alex; Dobkin, David; Jacobs, David (2002). 「3Dモデルのための検索エンジン」(PDF) . ACM Transactions on Graphics . 22 (1): 83– 105. doi : 10.1145/588272.588279 . S2CID 1178691 . 
  7. ^ Raj, Abhishek編 (2022年2月27日). 「Yandexのリバースイメージ検索の仕組みとは？詳細ガイド」 . www.buddinggeek.com . Budding Geek . 2022年5月5日閲覧。
  8. ^ Li, Abner (2022年8月10日). 「ウェブ上のGoogle画像検索でGoogleレンズが利用可能に」 . 9to5Google . 2022年12月2日閲覧。
  9. ^ "FAQ - TinEye - TinEye はどのように機能しますか?"。ティンアイ。
  10. ^ "FAQ - TinEye - TinEye は類似の画像を見つけることができますか??"。ティンアイ。
  11. ^ 「Lenso.ai：AIを活用した顔認識と写真検出のための逆画像検索」 TechTimes 2025年2月7日2025年12月25日閲覧。
  12. ^ 「Lenso.aiが顔認識検索エンジンをリリース」 . Biometric Update . 2024年9月1日. 2025年12月22日閲覧。
  13. ^ 「盗まれた画像を探す - Pixsy」Pixsy . 2017年10月20日閲覧。
  14. ^ 「Pixsy.comレビュー：画像盗難の発見と対策 - アーティストのためのオンラインマーケティング -」 .アーティストのためのオンラインマーケティング. 2015年7月2日. 2017年10月20日閲覧。
  15. ^ 「Pixsy：画像の盗難を発見して報酬を受け取る」 artlawjournal.com 2014年10月18日2017年10月20日閲覧。
  16. ^ 「画像の盗難を解決 - Pixsy」 Pixsy 2017年10月20日閲覧。
  17. ^ 「FlickrがPixsyと提携、写真が盗まれた際に報酬を受け取る」 petapixel.com 2019年4月9日 2019年12月12日閲覧。
  18. ^ Yang, Fan; Kale, Ajinkya; Bubnov, Yury; Stein, Leon; Wang, Qiaosong; Kiapour, Hadi; Piramuthu, Robinson (2017). 「eBayにおけるビジュアル検索」.第23回ACM SIGKDD国際知識発見・データマイニング会議論文集. pp.  2101– 2110. arXiv : 1706.03154 . doi : 10.1145/3097983.3098162 . ISBN 9781450348874. S2CID  22367645 .{{cite book}}:|work=無視されました (ヘルプ)
  19. ^ SK Planetのビジュアルファッション製品検索
  20. ^張燕豪;パン、パン。鄭、尹。趙、康。張、英雅。レン・シャオフェン。ジン、ロン（2018）。 「アリババのビジュアル検索」。知識発見とデータ マイニングに関する第 24 回 ACM SIGKDD 国際会議の議事録。ページ 993–1001。arXiv : 2102.04674 。​​土井: 10.1145/3219819.3219820。ISBN 9781450355520. S2CID  50776405 .{{cite book}}:|work=無視されました (ヘルプ)
  21. ^ 「カメラでショッピング：アリババでビジュアルイメージ検索とEコマースが融合」アリババテック、2020年9月。
  22. ^ Josh Constine (2014年1月6日). 「Pinterest、画像認識・ビジュアル検索スタートアップのVisualGraphを買収」 . TechCrunch . AOL.
  23. ^ Jing, Yushi; Liu, David; Kislyuk, Dmitry; Zhai, Andrew; Xu, Jiajing; Donahue, Jeff; Tavel, Sarah (2015). 「Pinterest におけるビジュアル検索」.第 21 回 ACM SIGKDD 国際知識発見・データマイニング会議論文集. pp.  1889– 1898. doi : 10.1145/2783258.2788621 . ISBN 9781450336642. S2CID  1153609 .{{cite book}}:|work=無視されました (ヘルプ)
  24. ^ 「スケーラブルなマシンビジョンパイプラインの構築」 . Pinterestエンジニアリング. 2015年9月6日時点のオリジナルよりアーカイブ。
  25. ^ Li, Jie; Liu, Haifeng; Gui, Chuanghua; Chen, Jianyu; Ni, Zhenyuan; Wang, Ning; Chen, Yuan (2018). 「JD Eコマースプラットフォームにおけるリアルタイムビジュアル検索システムの設計と実装」.第19回国際ミドルウェア会議論文集. pp.  9– 16. arXiv : 1908.07389 . doi : 10.1145/3284028.3284030 . ISBN 9781450360166. S2CID  53713854 .{{cite book}}:|website=無視されました (ヘルプ)
  26. ^ Hu, Houdong; Wang, Yan; Yang, Linjun; Komlev, Pavel; Huang, Li; Chen, Xi (Stephen); Huang, Jiapei; Wu, Ye; Merchant, Meenaz; Sacheti, Arun (2018). 「BingにおけるWebスケールのレスポンシブ・ビジュアル検索」.第24回ACM SIGKDD国際知識発見・データマイニング会議論文集. pp.  359– 367. doi : 10.1145/3219819.3219843 . ISBN 9781450355520. S2CID  3427399 .{{cite book}}:|website=無視されました (ヘルプ)
  27. ^ Amazon Shop the Look: ファッションとホームのビジュアル検索システム
  28. ^ Web スケール データを使用した重複検索ベースの画像注釈Microsoft。
  29. ^パズルライブラリ
  30. ^ ProvenanceLabs / 画像一致
  31. ^ Chi Wong, H.; Bern, M.; Goldberg, D. (2002). 「あらゆる画像に対応する画像シグネチャ」.国際画像処理会議議事録. 第1巻. doi : 10.1109/ICIP.2002.1038047 . ISBN 0-7803-7622-6。
  32. ^ドゥーズ、マタイス;グジバ、アレクサンドル。鄧、成斉。ジョンソン、ジェフ。シルバシー、ゲルゲリ。マザレ、ピエール＝エマニュエル。ロメリ、マリア。ホセイニ、ルーカス。ジェグー、エルヴェ (2024)。 「ファイス図書館」。arXiv : 2401.08281 [ cs.LG ]。
  33. ^ FAISSとCLIPを用いた画像類似性検索エンジンの構築
  34. ^オクアブ、マキシム;ダーセ、ティモシー。ムータカンニ、テオ。ヴォー、ホイ。マーク・ザフラニエツ。ハリドフ、ヴァシル。フェルナンデス、ピエール。ハジザ、ダニエル。マッサ、フランシスコ。エル・ノウビー、アラエルディン。アスラン、マフムード。バラス、ニコラス。ガルバ、ヴォイチェフ。ハウズ、ラッセル。ファン、ポーヤオ。リー・シャンウェン;ミスラ、イシャン。ラバット、マイケル。シャルマ、ヴァス。シンナイブ、ガブリエル。徐、胡。ジェグー、エルヴェ。マイラル、ジュリアン。パトリック・ラバトゥット。ジュリン、アルマンド。ボヤノフスキー、ピョートル (2023)。 「DINOv2: 監督なしで堅牢なビジュアル機能を学習」。arXiv : 2304.07193 [ cs.CV ]。
  35. ^ Koul, Anirudh (2019年10月). 「第4章 逆画像検索エンジンの構築：埋め込みの理解」.クラウド、モバイル、エッジのための実践的ディープラーニング. O'Reilly Media . ISBN 9781492034865。
  36. ^実践的ディープラーニングブックのソースリポジトリ
  37. ^ Vリバースビデオ検索の使い方（およびその便利な理由）。2022年9月。{{cite book}}:|work=無視されました (ヘルプ)
  38. ^ 「リバースイメージ検索で動画のソースを見つける方法」 Alibaba DigitBin 2020年10月。
  39. ^携帯電話から逆画像検索を行う方法
「 https://en.wikipedia.org/w/index.php?title=Reverse_image_search&oldid=1336208369」より取得