適用製品
機械学習を用いて不特定の認識対象発話者の発話内容を高精度で推測することができる顔合成読唇装置及び顔合成読唇方法
目的
発話者の顔画像を画像処理することにより、読唇の認識精度を向上させることができる実用性に優れた顔合成読唇装置及び顔合成読唇方法を提供する。
効果
顔合成読唇装置及び顔合成読唇方法は、不特定の発話者（学習対象発話者及び認識対象発話者をまとめて発話者という）の顔画像を特定発話者の顔画像に変換して学習処理及び認識処理を行うことにより、認識時に、発話内容を高精度で推測することができ、認識精度の向上を図ることができる。
技術概要
学習時に、学習対象発話者の発話シーンが記録された学習対象画像を読み込み、認識時に、認識対象発話者の発話シーンが記録された認識対象画像を読み込む画像取得部と、像取得部に読み込まれた学習及び認識対象画像を画像処理して学習及び認識対象データを抽出する画像処理部と、学習時に、学習対象データに基づいて読唇の機械学習を行い、学習モデルを構築する学習処理部と、学習モデルを保存する読唇データベースと、認識時に、認識対象データと、読唇データベースに保存された学習モデルから、機械学習により、認識対象発話者の発話内容を推測する認識処理部とを備え、
画像処理部は、学習対象発話者の学習時顔画像を検出し、認識対象発話者の認識時顔画像を検出する顔検出手段と、検出された学習時及び認識時顔画像を特定発話者の顔画像を用いて学習時及び認識時合成顔画像に変換する顔合成手段と、顔合成手段で作成された学習時及び認識時合成顔画像から学習時及び認識時口唇領域を抽出する口唇領域抽出手段と、学習対象データとして、学習時口唇領域から学習時口唇特徴を抽出し、認識対象データとして、認識時口唇領域から認識時口唇特徴を抽出する特徴抽出手段とを有する顔合成読唇装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
