目的
文書間の類似性を求める新たな手法を提供する。
効果
より文書内の意味内容を反映した類似性を求めることができる。
文書間の類似性だけでなく、文書群と文書の類似性を求めることもでき、比較対象文書の内容によく類似した文書を得ることができる。
技術概要
文からなる文書の文を形態素解析する手段と、
形態素解析された文書から、当該文書に出現する索引語のTF/IDFによる重みを要素としたTF/IDFベクトルを求める手段と、
形態素解析された文書から、当該文書に出現する体言について当該体言が出現する文中で共起した用言の頻度を要素とした共起ベクトルを求める手段とを含み、
第1の文書のTF/IDF文書ベクトル及び共起ベクトルを求め、
第2の文書のTF/IDF文書ベクトル及び共起ベクトルを求め、
求めた第1の文書のTF/IDF文書ベクトル及び共起ベクトルと第2の文書のTF/IDF文書ベクトル及び共起ベクトルから第1の文書と第2の文書の類似性を求める文書類似性導出装置。