第6回 N-gramと形態素解析との比較 | gihyo.jp
これまでに、N-gramと形態素解析の2つの検索エンジンの、見出し語の切り出し方法を説明しました。今回は、2つの見出し語の切り出し方法を比較し、それぞれの得意な点、不得意な点を明らかにしていきます。 2つの手法の概要 はじめに、2つの手法をおさらいしてみます。 形態素解析 検索対象のテキストを形態素解析を行い分かち書きを行う 分かち書きした単位を見出し語として転置インデックスを作成する 転置インデックスを元に検索を行う N-gram 検索対象のテキストをN文字単位の文字列片に分解する 分解した文字列片を見出し語として転置インデックスを作成する 検索語をN文字単位の文字列片に分け検索を行う 文字列の出現位置情報を利用すれば、漏れのない完全一致の検索が可能 大きな違いは、「転置インデックスの見出し語をどのように作るか」というプロセスが異なる点です。形態素解析は構文解析を行って分かち書きを行う
レシピ検索を改善する工夫 - クックパッド開発者ブログ
こんにちは。技術部検索グループの兼山(@PENGUINANA_)です。 クックパッドの中でレシピ検索はレシピをのせる人とさがす人をつなぐ大事な仕組みです。 今回はレシピ検索を運用改善していく上での工夫のうち、他の検索システムでも役立ちそうな内容を紹介させていただきます。 改善ポイントを発見しやすくする 工夫1. 検索語をモニタリングする search monitorという社内ツールを作りました。前日の検索傾向を表示できます。 このツールは以下の作業をサポートします。 検索語をUU（ニーズ）が多かった順に知る キーワードごとに何人に使われたのかを知る ユーザーが実際に目にする検索結果を素早く確認する レシピが1品も見つけられなかったキーワードを知る 他にも「キーワードごとにどのようなキーワードと組み合わされやすいか」、「その検索語のCTRはどの程度か」、「その検索語は何時頃あるいは何曜日によ
Go言語でag(The Silver Searcher)ライクな高速検索ツールをつくった。EUC-JP/Shift-JISも検索できマス。
いまや高速パターン検索といえばag(The Silver Searcher)ですが、検索対象がUTF-8のテキストを前提としているため、EUC-JPやShift-JISといったファイルを検索するのに課題があります。 これまで、それらの日本語文字セットを検索できるようにするため、色々とagの改造、公開を行っていました。 ag(The Silver Searcher)でEUC-JP/Shift-JISのファイルも検索できるようにしてみた 日本語圏特化型ag -白金- の配備が完了しました しかし、特定の国の文字コードだけに特化した修正というのをmasterに取り込んでもらうわけにもいかず、派生ブランチとして追随するのも、やはり面倒… そこで年始にGo言語を触ったのをきっかけに、Go言語でパターン検索ツールをつくってみました。 せっかくなのでポストagを目指して、プラチナサーチャー(The Pl
もふったーをハックしたら予想以上に酷かった件 - kusano-k’s blog
TweetDeck をハックしたら予想以上に酷かった件 - Windows 2000 Blog もふったーの作者が、TweetDeckがConsumer keyとConsumer secretを平文で持っていることを批判していたので、もふったーはどうなっているのか調べてみた。 もふったーをインストールする Immunity Debuggerをインストールする Immunity Debuggerでもふったーを開き、下の画面のようになるまで、F9を押して実行する CPUウィンドウの左上の欄で右クリック → Search for → All referenced text strings 出てきた画面で右クリック → Search for text → 「consumer_key」で検索 oauth_consumer_keyをダブルクリック → F2を押してブレークポイントを設定 → F9を押し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Search
Koders - Source Code Search Engine
