目的
原言語表現および目的言語表現の学習データ中での出現頻度に応じて手法を切り替えることのできる自然言語処理装置およびプログラムを提供する。
効果
言語表現(単語等)の出現頻度に応じて、訳語挿入の手法と変数置換の手法とを適宜使い分けながら、翻訳モデルの学習を行うための訓練データを加工することができる。これにより、訳語のコントロールが行いやすくなる。
技術概要
原言語表現と目的言語表現との対訳関係を表す対訳辞書のデータを記憶する辞書記憶部と
対訳文対の原言語文と目的言語文に出現する原言語表現に対応する目的言語表現との対について、原言語表現に対応する目的言語表現の情報を原言語文の中に追加する訳語挿入の処理を行って訓練データを生成するとともに原言語表現と目的言語表現を変数で置換する処理を行って訓練データを生成する、訓練データ加工部と
原言語表現と目的言語表現との対についての出現頻度を記憶する頻度情報記憶部と
訓練データを用いて学習済みの翻訳モデルを備え、入力される原言語文の翻訳を行い、目的言語文を出力する翻訳部と
原言語で書かれた翻訳対象文について、翻訳対象文が含む原言語表現についての出現頻度を頻度情報記憶部から読み出し、出現頻度が所定の閾値以上の場合には原言語表現に対応する目的言語表現の情報を翻訳対象文の中に追加する訳語挿入の処理を行い、出現頻度が前記閾値未満の場合には翻訳対象文内の原言語表現を変数で置換する処理を行う、ことによって翻訳対象文の加工を行う入力データ加工部と
を備え
翻訳部は加工された翻訳対象文を原言語文として入力し翻訳を行う
自然言語処理装置。