目的
複数のドメインについての自然言語処理を行うためのモデルの学習を効率的に行うことができる自然言語処理装置およびプログラムを提供する。
効果
自然言語表現(文等)を処理する技術において、モデルの学習時とドメインが異なる場合の再学習を効率的に行うことができる。言い換えれば、モデルの学習時とドメインが異なる場合の性能劣化を防ぐことが比較的容易になる。
技術概要
自然言語表現に対応する単語単独埋め込み表現を少なくとも処理対象とする機械学習可能なモデルについて、第1ドメインに属する第1学習用データに基づく単語単独埋め込み表現の特定成分を除去した結果から算出される損失関数の尤度と、第2ドメインに属する第2学習用データに基づく単語単独埋め込み表現の当該特定成分を除去した結果から算出される損失関数の尤度と、の差の絶対値の大きさに基づいて、当該特定成分が前記第1ドメインと前記第2ドメインとの違いの影響を受けやすい成分であるか否かを分析し、当該特定成分が前記第1ドメインと前記第2ドメインとの違いの影響を受けやすい成分であるか否かを表す情報を出力する、影響分析部、
を備える自然言語処理装置。