目的
複雑なルールを予め記述することが不要で、統計処理の質を落とすことなく、特定記号（特定記号とは、典型的には、空白文字である）を挿入するか否かを適切に判断して処理することのできる自然言語データ処理装置およびプログラムを提供する。
効果
自然言語処理全般において、単語分割された表現（トークンの列）から空白文字の有無の復元が簡単且つ正確に行えるようになる。
技術概要
記号の列として、自然言語データを取得する自然言語データ取得部と、
前記自然言語データを形態素に対応するトークンの列に変換するとともに、前記自然言語データにおいて形態素間に特定記号が含まれていた箇所を表す第１特殊トークンまたは前記自然言語データにおいて形態素間に特定記号が含まれていなかった箇所を表す第２特殊トークンのいずれかを前記トークンの列に挿入し、トークン列として出力するトークン化処理部と、
学習モデルを含む人工知能処理部に、前記学習モデルを学習させるための前記トークン化処理部から出力される入力トークン列と出力トークン列とのペア、または前記学習モデルによる処理を実行するための前記トークン化処理部から出力される入力トークン列のいずれかを供給する供給部と、
を備える自然言語データ処理装置。
基本情報
開放特許情報
)
登録者情報
その他の情報
