Elasticsearchで日本語全文検索をするために、最近見てるもの使ってるもの - mosowave
最近仕事でElasticsearchと戯れています。 Kibanaでログ解析とかする人が多いとおもうのですが、 コンテンツの日本語全文検索用だったりします。 ログ解析の資料は多い（と思う）んですが、 日本語全文検索の文献がすくない＞＜ analyzerチェックのために使うpluginって、inquisitorが王道な感じがするのですが、 個人的にはkopfが神でした。github.com blog.johtani.info 機能が多くてリッチなのもよいのですが、 analyzeAPIを叩いて単語が分割された結果が見れるというのがとてもよい。 (kuromojiをつかっているなら、kuromoji demo - japanese morphological analyzer に入力すれば品詞がわかるので、stoptagsの選定をしたりしました） あとは、参考にさせていただきまくってるブログな
既存のRailsアプリの検索にElasticSearchを導入してみる - Qiita
Greenという転職サイトで、ElasticSearchを導入して遊んでみようと思います。 具体的には今の求人が持っているデータをElasticSearchに入れてみて実際に開発環境で動かす事をGoalとします。 全文検索とは？ 全文検索(Full text search)とは、コンピュータにおいて、複数の文書(ファイ ル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル 内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を 対象とした検索」という意味で使用される。 - 引用：Wikipedia インデックスの違い Bツリーインデックスとは？ - 引用：What Is A B Tree Index RDBのインデックスについて 転置インデックスとは？ - 引用：thinkit elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6
Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita
tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください 注: この記事の執筆者はSudachiの開発に関わっています さまざまな形態素解析器 形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利
高速文字列解析の"別"世界 - 気ままなブログ
1月に「高速文字列解析の世界」を購入してから半年が経ちました。以下、文字列本と呼びます。 高速文字列解析の世界――データ圧縮・全文検索・テキストマイニング (確率と情報の科学) 作者: 岡野原大輔出版社/メーカー: 岩波書店発売日: 2012/12/27メディア: 単行本購入: 15人 クリック: 324回この商品を含むブログ (4件) を見る 全文検索として、「CSA」や「FM-Index」が紹介されていますが、「全文検索システム」を作るには、これらだけでは不十分です。なぜなら、以下のような特徴があるからです。 文書IDの識別が遅い。 各文書IDに出現する頻度を求めるのが遅い。 ちなみに、転置インデックス(or N-gramインデックス)を使った場合、これらの処理は高速ですね。 インデックスを圧縮しているのだからしょうがないとも考えられますが、作りたいですよねぇ、「全文検索システム」。こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
