WordPress Related Post for Japanese で全文検索を行う - dogmap.jp
hiromasaさんが作成したWordPress用の関連投稿表示プラグインWordPress Related Post for Japanese(wp-jrelated)を利用して、各記事に過去記事から関連する記事を自動で表示しています。 この wp-jrelated が関連記事を検索する仕組みですが、おおよそ以下のとおりです。 Yahoo! 日本語形態素解析でコンテンツを解析し、名詞を抽出 抽出された名詞を頻出順でカンマ区切りでDBに格納 抽出された名詞の中から頻出する名詞トップｎ個を抜き出し、それを使って過去記事を like 検索 関連度合いは、元記事の頻出単語が幾つ関連記事に含まれるかを計算 その際、上位頻出単語の方が重みを持つようにランク付け ※このランク付け方法が中々良くできてます、ソースを読むことをオススメ これだけで、かなりの精度を出せているので大したモノです。 しかし、単語
Aho Corasick 法 - naoyaのはてなダイアリー
適当な単語群を含む辞書があったとします。「京都の高倉二条に美味しいつけ麺のお店がある」*1という文章が入力として与えられたとき、この文章中に含まれる辞書中のキーワードを抽出したい、ということがあります。例えば辞書に「京都」「高倉二条」「つけ麺」「店」という単語が含まれていた場合には、これらの単語(と出現位置)が入力に対しての出力になります。 この類の処理は、任意の開始位置から部分一致する辞書中のキーワードをすべて取り出す処理、ということで「共通接頭辞検索 (Common Prefix Search)」などと呼ばれるそうです。形態素解析、Wikipedia やはてなキーワードのキーワードリンク処理などが代表的な応用例です。 Aho Corasick 法 任意のテキストから辞書に含まれるキーワードをすべて抽出するという処理の実現方法は色々とあります。Aho Corasick 法はその方法のひと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
絵文字を「語」として処理する難しさ～「ビール」と「飲み会」見分ける技術 バイドゥ「絵文字の意味検索」ができるまで（3）
