目的
要約映像として抽出する映像区間を近傍区間や映像全体との関係で学習した、従来よりも高品質な要約映像を生成することが可能な要約映像生成装置およびそのプログラムを提供する。
効果
映像区間の重要度を当該映像区間だけでなく、前後に連続する映像区間の特徴と合わせて算出することができる。
これによって、映像の内容を考慮した高品質な要約映像を生成することができる。
技術概要
複数の映像区間で構成された要約対象映像から、要約映像を生成する要約映像生成装置で、
映像区間ごとに、当該映像区間を含んだ複数の時間尺についてそれぞれ複数のモーダルの特徴ベクトルを算出する特徴ベクトル算出部と、
予め学習されたニューラルネットワークを用いて、特徴ベクトル算出部で算出された映像区間ごとの複数の特徴ベクトルから、当該映像区間の重要度を算出する映像区間重要度算出部と、
要約対象映像から、重要度の高い順に予め定めた合計尺までの映像区間を切り出して時系列に連結し、要約映像を生成する映像要約部と、を備え、
映像区間重要度算出部は、
時間尺統合特徴ベクトルを生成する複数時間尺特徴統合部と、
時間尺統合特徴ベクトルを予め定めた次元数に変換する第１の多層全結合ＮＮ演算部と、
モーダル別の時間尺統合特徴ベクトルを統合した統合特徴ベクトルを生成する複数モーダル特徴統合部と、
統合特徴ベクトルから重要度を算出する第２の多層全結合ＮＮ演算部と、
を備えることを特徴とする要約映像生成装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
