バーチャルプロダクションを活用した映像制作では、VFX（Visual Effects）で用いられるバーチャルカメラと実写映像を撮影するリアルカメラのカメラワークを一致させて合成する為に、リアルカメラから適切な撮影範囲情報を送出することが重要です。

キヤノンが提供するバーチャルプロダクションテクノロジーは、RFマウントシステムの高速通信により、レンズとカメラの撮影情報をリアルタイムに通信・演算することが可能です。それにより、出力映像に応じてバーチャルプロダクションのために新たに開発したCVメタデータを簡単に取り出すことができます。またこれまで負担となっていた事前のキャリブレーションが不要になる為、容易に自然なCG合成映像を得ることが可能です。

制作現場の効率向上とともに、映像制作の質と精度の向上に寄与します。

開発時から将来を見据え高い拡張性を持たせたRFマウントは、12pinの電子接点を搭載。
レンズとカメラの撮影情報をリアルタイムに通信・演算することで、出力映像に応じたCVメタデータをEthernetケーブル1本で取り出すことができ、実写と仮想空間上の撮影範囲を合致・連動させた自然なCG合成映像を容易に得ることができます。

バーチャルプロダクション制作の大きな足かせとなっていたのが、事前にレンズごとのキャリブレーションが必要なことです。
本システムはEthernetケーブル1本でレンズとカメラのメタデータをリアルタイムで出力することができるPlug and Playを実現。
また、必要な機材や事前準備を削減することができ、映像制作に集中することができます。

RFマウント通信により、映像に同期した連続的かつ高精度な歪曲データを取得可能なため、CGとの境目にズレが生じず、違和感のない自然な映像を制作することができます。
ズーム操作にも対応することで、撮影ポジションと構図の自由度が大きく向上します。

Live Link Plugin for Unreal Engine とは、

バーチャルプロダクションのために新たに開発されたCV Protocol対応のUnreal EngineのLive Linkプラグインです。CV Protocolによりレンズ・カメラ情報を取得し、Unreal EngineでのCGレンダリングに対し、実空間のレンズ・カメラと同様の焦点距離・フォーカス・歪曲収差等のレンズ・カメラデータをリアルタイムに適用でき、フレーム毎のメタデータをEthernetからリアルタイムに出力。また、SDI映像出力とタイムコードで同期させることができます。

CV Metadata Plugin for Adobe After Effects　とは、

ポストプロダクションでのVFX処理の為のCVメタデータを基に、CG合成前に入力画像の歪曲収差や周辺減光を除去したり、CG合成後に除去した歪曲収差や周辺減光を再度付加する機能を持っています。また合成後の画像に実際にカメラで撮ったようなリアリティを持たせることが可能です。
フレーム毎のメタデータを参照することで連続的な変化にも対応することができます。

CV Metadata Extraction Tool　とは、

カメラで記録したクリップから、フレーム毎のカメラ・レンズメタデータを含むCVメタデータをJSON形式でファイルに出力することができます。このCVメタデータファイルをAfter Effectsに入力することで、フレーム毎の撮影情報をAfter Effects内のバーチャルカメラに設定することが可能です。CV Metadata Plugin for Adobe After Effectsではカメラで記録したクリップから直接CVメタデータを読み出すことが可能です。

またカメラで記録したクリップがCG合成前に別形式に変換されるケースにおいても、事前にCV Metadata Extraction Toolを用いて出力したCVメタデータファイルをCV Metadata Plugin for Adobe After Effectsに入力することで、映像に対する歪曲収差や周辺減光の除去や付加が可能になります。