目的
撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、被写体の影等の所定の映像特徴を有する領域を適切に合成することで、一層自然な仮想視点映像を生成可能な仮想視点変換装置及びプログラムを提供する。
効果
撮影時の入力映像を、撮影時とは異なる視点の映像に仮想的に変換する際に、被写体の影等の所定の映像特徴を有する領域を適切に合成することで、一層自然な仮想視点映像を生成することが可能となる。
技術概要
仮想視点変換装置1の第二被写体抽出部12は、入力映像Iから第二被写体を抽出し、キー映像Fを生成する。合成部13は、背景映像Bに対し、キー映像Fに基づくキーイングにより入力映像Iを合成し、合成あり背景映像Aを生成する。第一射影変換部14は、合成あり背景映像Aをカメラパラメータに応じて射影変換し、背景の仮想視点映像Lを生成する。第二射影変換部16は、入力映像I及びキー映像Kを、ビルボード及びカメラパラメータを用いて射影変換し、前景の仮想視点映像M↓i及びキーの仮想視点映像N↓iを生成する。合成部17は、キーの仮想視点映像N↓iに基づいて、背景の仮想視点映像L及び前景の仮想視点映像M↓iを合成し、仮想視点映像Jを生成して出力する。