目的
映像の内容に基づいて、その映像の一部分を抽出した映像を生成することができる映像抽出装置を提供する。
効果
複数の他の映像の要約を示すテキストデータの所定の特徴量が類似する箇所を音声や字幕のテキストデータから抽出し、この箇所に対応する区間の映像を抽出した映像を生成することができる。更に、入力された映像の要約のテキストデータがなくても、映像の要約映像を自動で生成することができるとともに、もとの映像の一部のみを抽出して要約映像を生成するため、ユーザに対して短時間で要約を提示することができる要約映像を自動で生成できる。また、複数の映像についての要約映像を提示する場合にも情報量が少なくなり、計算負荷を減らすことができる。
技術概要
映像抽出装置1は、字幕のテキストデータを所定の単位に分割して映像区間に対応させたCC文を抽出する字幕情報抽出手段10と、映像に付加された音声データをテキストデータとし、所定の単位に分割して映像区間に対応させた音声認識文を生成する音声認識手段11と、CC文又は音声認識文について所定の特徴量を解析して、他の映像の番組紹介文とのこの特徴量の類似度を算出する他番組紹介文類似度算出部14bと、類似度に基づいてCC文又は音声認識文を選定して、対応する映像区間の映像を抽出する番組紹介映像抽出部(部分映像抽出手段)14cとを備える。テロップ単位データを生成するテロップ単位データ生成手段と、この区間の映像について所定の特徴量を解析して、この解析結果と、複数の他の映像に対して生成された他の映像の内容の要約を示す映像であるスポット映像について解析された所定の特徴量の解析結果とに基づいて、部分映像抽出手段が、他映像類似度算出手段によって算出された他映像類似度と、テロップ類似度算出手段によって算出されたテロップ類似度とに基づいて映像付加単位データを選定する。
改善効果1
映像内の音声又は字幕の情報に加えて、テロップの情報も利用して、当該映像の要約に相当する映像を生成することができる。そのため、人手によって生成された要約映像(スポット映像)に近い要約映像を自動で生成することができる。