適用製品
マルチモード同時通訳技術に関し、例えば、ＡＶ同期がとれた音声信号および映像信号を用いて、リアルタイムで話者特定を行いながら、翻訳処理を実行する技術
目的
リアルタイムで、自動音声認識処理、機械翻訳処理、および、話者特定処理を行うことが可能な同時通訳システムを実現する。
効果
リアルタイムで、自動音声認識処理、機械翻訳処理、および、話者特定処理を行うことが可能な同時通訳システムを実現することができる。
技術概要
時間情報、音声信号および映像信号を含むビデオストリームに対して音声認識処理を行うことで、前記音声信号に対応する単語列のデータであって、当該単語列の各単語が発せられた時間情報を含むデータである単語列データを取得する音声認識処理部と、
前記単語列データに対してセグメント処理を行うことで、セグメント化された単語列データである文章データを取得するとともに、当該文章データに含まれる単語列が発せられた時間範囲を特定する時間範囲データを取得するセグメント処理部と、
前記ビデオストリームおよび前記時間範囲データに基づいて、前記時間範囲データで特定される期間において発話した話者を予測する話者予測処理部と、
前記文章データに対して機械翻訳処理を実行することで、前記文章データに対応する機械翻訳処理結果データを取得する機械翻訳処理部と、
を備える同時通訳装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
