適用製品
1または複数のトークンを含む入力シーケンスに対応する出力シーケンスを出力する推論器、推論方法および推論プログラム
目的
入力シーケンスに含まれる各トークンが当該入力シーケンス内のいずれの位置に存在しているのかを示す位置情報を用いる学習済ニューラルネットワークの性能を向上させる。
効果
入力シーケンスに含まれる各トークンが当該入力シーケンス内のいずれの位置に存在しているのかを示す位置情報を用いる学習済ニューラルネットワークの性能を向上できる。
技術概要
入力シーケンスに対して対応する出力シーケンスを出力する学習済ニューラルネットワークからなる推論器であって、
前記入力シーケンスに含まれる各トークンの値を示す情報と各トークンが前記入力シーケンス内のいずれの位置に存在しているのかを示す第1の位置情報とを有する第1のセンテンス表現に基づいて、中間センテンス表現を生成する第1の生成部と、
前記第1のセンテンス表現および前記中間センテンス表現に基づいて、前記第1の位置情報を修正することで第2の位置情報を生成するとともに、前記第2の位置情報および前記中間センテンス表現に基づいて、隠れ状態表現を生成する第2の生成部と、
前記中間センテンス表現および前記隠れ状態表現に基づいて、第2のセンテンス表現を生成する第3の生成部とを備える、推論器。