適用製品
触覚メタデータ生成装置、映像触覚連動システム、及びプログラム
目的
映像から人物オブジェクトを自動抽出し、動的な人物オブジェクトに対応する触覚メタデータを同期して自動生成する触覚メタデータ生成装置、生成した触覚メタデータを基に触覚提示デバイスを駆動制御する映像触覚連動システム、及びプログラムを提供する。
効果
スポーツ映像のリアルタイム視聴時での触覚刺激の提示が可能となる。視覚・聴覚への情報提供のみならず、触覚にも訴えることで、従来の映像視聴では伝えきれない臨場感や没入感を提供することができる。視覚に障害を持つ方々にスポーツの状況を分かりやすく伝えることが可能となる。
技術概要
映像から人物オブジェクトを抽出し、動的な人物オブジェクトに対応する触覚メタデータを生成する触覚メタデータ生成装置で、
入力された映像について、現フレーム画像を含む複数フレーム分の過去のフレーム画像を抽出する複数フレーム抽出手段と、
フレーム画像の各々について、骨格検出アルゴリズムに基づき、各人物オブジェクトの第１の骨格座標集合を生成する人物骨格抽出手段と、
第１の骨格座標集合を基に、各人物オブジェクトの骨格の位置及びサイズと、その周辺画像情報を抽出することにより人物オブジェクトを識別し、人物ＩＤを付与した第２の骨格座標集合を生成する人物識別手段と、
現フレーム画像を基準に、複数フレーム分のフレーム画像における第２の骨格座標集合を時系列に連結し、人物オブジェクト毎の骨格の軌跡を示す軌跡特徴量の集合として骨格軌跡集合を生成する軌跡特徴量生成手段と、
機械学習により触覚提示デバイスを作動させるための情報を検出する人物動作認識手段と、
現フレーム画像に対応して触覚提示デバイスを作動させるための触覚メタデータを生成し、フレーム単位で外部出力するメタデータ生成手段と、
を備える触覚メタデータ生成装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
