目的
発話者の口唇特徴に加え、表情特徴を考慮して機械学習を行うことにより、発話内容を高精度で推定することができ、必要に応じて、発話者の年代及び性別等の属性も考慮して、学習及び評価を行うことにより、さらに推定精度を高めることができる読唇装置及び読唇方法を提供する。
効果
発話者（学習対象発話者及び評価対象発話者をまとめて発話者という）の口唇特徴に加え、表情特徴も考慮して機械学習を行うことにより、評価時に、発話内容を高精度で推定することができる。特に、発話者の年齢及び／又は性別も考慮して機械学習を行い、発話内容の推定を行った場合、認識率をさらに高めることができる。
技術概要
学習時に、学習対象発話者の発話シーンが記録された学習対象画像を読み込み、評価時に、評価対象発話者の発話シーンが記録された評価対象画像を読み込む画像取得部と、該画像取得部に読み込まれた画像を画像処理する画像処理部と、学習モデルを構築する学習処理部と、学習モデルを保存する読唇データベースと、機械学習により、評価対象発話者の発話内容を推定する認識処理部とを備え、
画像処理部は、学習対象画像から学習対象発話者の顔領域を検出し、評価対象画像から評価対象発話者の顔領域を検出する顔検出手段と、該顔検出手段で検出された各顔領域からそれぞれの顔特徴点を検出する顔特徴点検出手段と、該顔特徴点検出手段で検出された各顔領域の顔特徴点からそれぞれ口唇領域を抽出する口唇領域抽出手段と、学習対象発話者の顔領域、顔特徴点及び口唇領域から、学習対象データとなる学習対象発話者の口唇特徴を抽出し、評価対象発話者の顔領域、顔特徴点及び口唇領域から、評価対象データとなる評価対象発話者の口唇特徴を抽出する特徴抽出手段とを有することを特徴とする読唇装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
