第6回 N-gramと形態素解析との比較 | gihyo.jp

これまでに、N-gramと形態素解析の2つの検索エンジンの、見出し語の切り出し方法を説明しました。今回は、2つの見出し語の切り出し方法を比較し、それぞれの得意な点、不得意な点を明らかにしていきます。 2つの手法の概要 はじめに、2つの手法をおさらいしてみます。 形態素解析 検索対象のテキストを形態素解析を行い分かち書きを行う 分かち書きした単位を見出し語として転置インデックスを作成する 転置インデックスを元に検索を行う N-gram 検索対象のテキストをN文字単位の文字列片に分解する 分解した文字列片を見出し語として転置インデックスを作成する 検索語をN文字単位の文字列片に分け検索を行う 文字列の出現位置情報を利用すれば、漏れのない完全一致の検索が可能 大きな違いは、「⁠転置インデックスの見出し語をどのように作るか」というプロセスが異なる点です。形態素解析は構文解析を行って分かち書きを行う

[vyniled]

“形態素解析 検索対象のテキストを形態素解析を行い分かち書きを行う 分かち書きした単位を見出し語として転置インデックスを作成する 転置インデックスを元に検索を行う N-gram ”

[ottonove]

自然言語処理

[teematsu]

全文検索 Nグラム 形態素解析

[t_furu]

N-gramと形態素解析の比較/活用語尾対応/複数言語対応/得意不得意の参考。

[kana321]

N-gramと形態素解析との比較

[Kshi_Kshi]

N-grams 形態素解析

[Chisei]

社内システム向けに手軽に構築したい。

[mock_frog]

形態素解析とN-gramの特徴比較。

[smartworks_sa]

　特許の概念検索システムによく使われているエンジンの比較です。

[yuchi]

検索の実装を行う場合には眼をとおしましょ

[janus_wel]

併用できそうな気もするけど