マルチビュービデオコーディング（MVC 、 MVC 3Dとも呼ばれる）は、複数のカメラアングルから同時に撮影されたビデオシーケンスを単一のビデオストリームでエンコードできる、ビデオ圧縮のための立体ビデオコーディング規格です。 [1] 2Dプラスデルタ方式を使用し、 MPEGとVCEGが共同で開発したH.264（MPEG-4 AVC）ビデオ圧縮規格の修正版です。[2]パナソニックやLGエレクトロニクスなど、多くの企業の貢献を受けています。[3]

MVCフォーマットは、立体視（2視点）3Dビデオ、自由視点テレビ、マルチビュー3Dテレビのエンコードを目的としています。ステレオハイプロファイルは2009年6月に標準化されました。このプロファイルはMVCツールセットに基づいており、立体視Blu-ray 3Dリリースで使用されています。[4]

技術概要

MVCは、同じシーンを複数の角度から撮影したビデオには多くの共通要素があるという考えに基づいています。同じエレメンタリーストリームで同時にキャプチャされたすべてのフレームをエンコードし、異なるレイヤー間で可能な限り多くの情報を共有することが可能です。これにより、エンコードされたビデオのサイズを削減できます。[5] [6]

マルチビュービデオは、すべてのカメラが異なる視点から同じシーンを撮影するため、ビュー間の統計的依存関係が非常に多く存在します。そのため、効率的なMVCエンコーディングには、時間予測とビュー間予測を組み合わせたものが重要です。あるカメラのフレームは、同じカメラの時間的に関連するフレームだけでなく、隣接するカメラのフレームからも予測できます。これらの相互依存関係は、効率的な予測に活用できます。[7] [8] [9]

ブルーレイ3D映画のマルチビュービデオコーディングで使用されているこの方法は、2Dプラスデルタアルゴリズムとして知られており、MVC仕様自体はH.264規格の一部であり、H.264の「付録H」の修正として含まれています。[10]

オープンソースのサポートはほとんどない

2015年4月現在、MVCビデオ圧縮規格のソフトウェアデコードをサポートするフリーでオープンソースのソフトウェアは存在しない。 [11] FFmpegやLibavライブラリなどで使用されているような、一般的なオープンソースのH.264およびHEVC（H.265）デコーダーは、セカンドビューを単純に無視するため、立体視表示ではセカンドビューを表示しない。多くの場合、このサポートが追加されない理由は、初期のH.264およびHEVCデコーダーのコアコードが記述された際にMVCが考慮されていなかったためである。そのため、後から修正を加えるには、多くの前提条件となるコードのリファクタリング作業と現在のアーキテクチャの大幅な変更が必要になることが多く、一部のコードを整理して並べ替え、既存のデコーダーコード内のさまざまな機能をより小さなチャンクに分割して処理を簡素化する作業が必要になる。これにより、MVCなどの修正を容易に追加できるようになる。[12]

しかし、過去にはダウンストリームで概念実証作業がいくつか行われてきましたが、 FFmpegやLibavの公式リリースにアップストリームされることはありませんでした。[13] [14]

2016年3月8日、状況は改善しました。DirectShow Media Splitter and Decoders Collection LAV Filters [15]のバージョン0.68が、開発者「Nevcairiel」（ Media Player Classic — Home Cinema ( MPC-HC )の開発にも携わる）によってリリースされ、H.264 MVC 3Dデマルチプレックスとデコードに対応しました。このリリースと「videohelp3d」 [17]というプログラマーが作成したFRIM [16]を活用することで、H.264 MVC 3Dビデオクリップを前処理するAviSynthスクリプトを作成することができます。このビデオクリップは、無料の3DビデオプレーヤーBino [18]で開くことができ、例えば赤青緑のアナグリフ動画として表示できます。[11]

FRIM AviSynthプラグイン（FRIMSource）の使い方は、「videohelp3d」のホームページで説明されています。LAVフィルターは、H.264 MVC 3Dビデオクリップからオーディオを取得するために使用できます。開発者[19]は、将来のリリースでは、LAV Videoがビデオを直接Side-by-Sideとしてレンダリングできるようになる可能性があると投稿しています。[20]

特許権者

以下の組織は、MVC技術の開発に貢献した特許を保有しており、 MPEG LAの特許プールに掲載されています。[21]

参照

参考文献

  1. ^ https://research.nokia.com/page/4988 2015年7月16日アーカイブWayback Machineモバイル3Dビデオ
  2. ^ 「アーカイブコピー」（PDF） 。 2011年7月19日時点のオリジナル（PDF）からアーカイブ。2011年1月13日閲覧。{{cite web}}: CS1 maint: archived copy as title (link)家庭向け3DTV：現状、課題、そして高品質な体験を実現するためのソリューション
  3. ^ ab 「MVC特許リスト」（PDF） . MPEG LA . 2019年7月11日閲覧。
  4. ^ "mpeg4-mvc - 3D Vision Blog" . 2023年3月8日閲覧。
  5. ^ https://wiki.libav.org/Blueprint/MultiAVFrame Libav マルチAVフレーム ブループリント
  6. ^ エイセルシュタイン、ワイナンド・A.;スンティエンス、ピーター JH;ミースターズ、リディア MJ (2006 年 1 月 3 日)。 「3D ディスプレイのヒューマンファクター」。3D ビデオコミュニケーション。チチェスター、英国: John Wiley & Sons, Ltd.、  217 ～ 233ページ。doi :10.1002/0470022736.ch12。ISBN 978-0-470-02273-3。
  7. ^ MPEG – テクノロジー – マルチビュービデオコーディング入門
  8. ^ http://vision.princeton.edu/projects/2008/ECCV_stereo/paper_low-res.pdf 2視点ステレオマッチングの学習
  9. ^ http://cs.nyu.edu/~fergus/teaching/vision_2012/6_Multiview_SfM.pdf 講義6: マルチビューステレオとモーションからの構造
  10. ^ http://www.itu.int/rec/T-REC-H.264 H.264: 汎用オーディオビジュアルサービスのための高度なビデオ符号化
  11. ^ ab Ho, Yo-Sung; Oh, Kwan-Jung (2007). 「マルチビュービデオ符号化の概要」. 2007 第14回国際システム・信号・画像処理ワークショップおよび第6回EURASIP会議（音声・画像処理、マルチメディア通信・サービスに焦点を当てる）. pp.  5– 12. doi :10.1109/IWSSIP.2007.4381085. ISBN 978-961-248-036-3. S2CID  453153。
  12. ^ blogs.gentoo.org/lu_zero/2014/04/04/the-road-to-mvc/ MVC への道
  13. ^ http://www.nt.uni-saarland.de/fileadmin/file_uploads/theses/master/Optimized_implementation_of_a_MVC_decoder.pdf Archived 4 March 2016 at the Wayback Machine Jochen Britz – Optimized implementation of an MVC decoder – Master's Thesis in Computer and Communication Technology
  14. ^ https://github.com/Britz/FFmpeg Britz – 修士論文では、H.264 Annex H に基づいた libvacodec の H.264 MVC 実装に取り​​組んでいます。
  15. ^ https://github.com/Nevcairiel/LAVFilters LAV Filters プロジェクトの GitHub リポジトリ 2016 年 3 月 30 日取得
  16. ^ http://www.videohelp.com/software/FRIM Videohelpダウンロードページ 2016年3月30日取得
  17. ^ http://forum.doom9.org/showthread.php?t=169651 「videohelp3d」の開発者ページ 2016年3月30日閲覧
  18. ^ http://bino3d.org/index.html Binoのホームページ - 無料の3Dビデオプレーヤー 2016年3月30日取得
  19. ^ http://forum.doom9.org/showthread.php?t=156191&page=1029 「Nevcairiel」の開発者ページ（ページ下部） 2016年3月30日閲覧
  20. ^ CrendKing (2022年2月10日)、AviSynthフィルターとVapourSynthフィルター、 2022年2月10日閲覧。
  21. ^ 「メディア：ライセンスプログラム」MPEG LA . 2022年2月10日閲覧。
  22. ^ 「MVC特許ポートフォリオライセンスに含まれるライセンサー」MPEG LA . 2019年7月11日閲覧。
  • 三菱電機研究所 – マルチビュービデオコーディングプロジェクト
  • MPEG – テクノロジー – マルチビュービデオコーディング入門
  • MPEG – テクノロジー – 3Dビデオ入門 2010年1月13日アーカイブWayback Machine
  • MPEG – Visions – 3D Video Vision 2010年1月16日アーカイブ - Wayback Machine
  • Nokia Research Center – モバイル 3D ビデオ プロジェクトと MVC ソース コード
  • NetBlender – 3D Blu-ray オーサリングのための MVC エンコーディング ソリューション
  • TDVision Systems, Inc – 立体視デコード特許:
    • TDVision Systems, Inc. – 立体視エンコード特許
    • TDVision Systems, Inc. – 立体視デコード特許