第2回 飛行機の中で | gihyo.jp

前回は、FINDSPOTの開発を行うきっかけとなった問題意識の芽生えについて紹介しました。今回は、開発のきっかけや初期のコードがどのように進化していったのかについて紹介しましょう。 最初のコードは365行 2003年の6月にアメリカから出張帰りの飛行機の中で、ふと、アルゴリズムの勉強がてらUnicode(UTF-16)をベースにしたN-gram(エヌグラム)のインデックスによる検索のサンプルコードを書いてみようと思い立ちました。N-gramとは、N文字分の文字の連なりをキーとしてインデックスを作成する全文検索の古典的な手法です。 形態素解析による分かち書きでは、辞書にない語がうまく処理できない限界や、他言語への対応が難しいという問題があります。N-gramでは文字の連なりがインデックスのキーとなるので、形態素解析の分かち書きで作られた文字列キーよりもキーの数が大きくなります。しかしハードウ

[janus_wel]

そうか最近の処理性能があれば N-gram の汎用性が生きるのか