ElasticSearch と Kuromoji で日本語検索エンジンを作る : まだプログラマーですが何か？
# yum install java-1.7.0-openjdk 次に検索エンジンである ElasticSearch 本体を導入します。公式サイトから最新版（2016/07/11時点では 2.3.4）のインストールモジュールをダウンロードします。インストールモジュールにはいくつかの種類はありますが、今回は rpm パッケージ版(elasticsearch-2.3.4.rpm)をダウンロードします： https://www.elastic.co/downloads/elasticsearch ダウンロードできたら rpm コマンドでインストールして起動、および自動起動設定までを行います。ちなみにこの rpm 版をインストールした場合、ElasticSearch 本体は /usr/share/elasticsearch/ 以下に導入されます ： # rpm -ivh elasticsearch
Javaで形態素解析と辞書のカスタマイズ - Qiita
この記事で紹介すること この記事は次の２つのトピックについて記載しています。 Javaの形態素解析ライブラリKuromojiの使用方法 Kuromojiへのユーザ辞書の追加方法 Kuromojiはatilika社が開発し、Apache Software Foundationへ寄贈されているJava製の形態素解析ライブラリです。ライセンスは「Apache v2 License」となっています。形態素解析に必要な辞書をjarの中に格納しているため、ワンパッケージで形態素解析を行うことができます。また、用意されている辞書は以下のようなものがあります。 IPADIC (2.7.0-20070801) IPADIC NEologd (2.7.0-20070801-neologd-20151224) JUMANDIC (7.0-20130310) NAIST jdic (0.6.3b-20111013
Amazon Elasticsearch Serviceでkuromojiを使って日本語全文検索する | DevelopersIO
はじめに [新機能]Amazon Elasticsearch Serviceがリリースされました！でお伝えした通り、Amazon Elasticsearch Service(Amazon ES)はICU AnalysisとKuromojiをサポートしています。最初からKuromojiをサポートしているというのが本当にナイス。 そんなわけで、Amazon ESで、Kuromojiを使って日本語全文検索をしてみました。 やってみた まずは、Kuromojiをtokenizer及びanalyzerとして使うIndexを作成します。 $ curl -XPOST 'http://search-myes-hoge.ap-northeast-1.es.amazonaws.com/kuromoji/' -d' { "index":{ "analysis":{ "tokenizer" : { "kuromo
Elasticsearch + kuromoji + Kibanaで日本語検索 – OpenGroove
しれっと久しぶりに投稿です。 Elasticsearchに日本語検索最適化プラグインkuromojiを入れてゴニョゴニョやってみたので、その記録など。 さらにKibanaで可視化したらどうなるか、を試してみた。（長いです） つい最近 Elasticsearch 1.4beta、Kibana 4betaがリリースされたのでせっかくだからそっちで試してもよかったのだが、チラ見したところkibana 4ではインターフェースがガラっと変わったらしく（またか）、そこでハマるわけにはいかないので安心の Elasticsearch 1.3、Kibana 3という環境で実施。マシンはAmazon EC2のm1.small, CentOS 6.5。 参考 Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) ElasticSearch に Kuromoji プラグインを導入す
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
Kuromojiで日本語全文検索 – AWSで始めるElasticSearch(1) | DevelopersIO
はじめに 初めまして、ブロガーとして出張してきました@smokeymonkeyです。 今回、AWS上にElasticSearchを導入し、試行錯誤した結果をまとめてみました。シリーズものとして何度か続けていきたいと思いますので、どうぞ宜しくお願い致します。 ElasticSearchとは Apache v2ライセンスで公開されているオープンソースソフトウェアであり、全文検索エンジンであるLuceneを使用した、全文検索システムです。特徴として RESTfulなAPIが使える InputもOutputもJSON スキーマフリーなので面倒な定義無しにデータを登録可能 等があります。 Kuromojiとは Kuromojiはatilika社製のJavaで書かれた日本語形態素解析ソフトウェアで、Apache v2ライセンスで公開されているオープンソースソフトウェアです。形態素解析としてはChaSe
日本語Wikipediaをインデクシング（Kuromojiバージョン）
前々回紹介した、日本語Wikipediaのデータをインデックス登録する記事の続きです。 今回は、Kuromojiのアナライザを利用してインデックス登録してみます。 余談（Proxy環境でのプラグインインストール） ElasticSearchのpluginコマンドはJavaで実装されています。（org.elasticsearch.plugins.PluginManager） プラグインのダウンロードには、java.net.URL.openConnection()から取得URLConnectionを使用しています。 ですので、pluginのインストールを行う際に、Proxy環境にある場合は以下のようにコマンドを実行します。 ./bin/plugin -DproxyPort=ポート番号 -DproxyHost=ホスト名 -i elasticsearch/elasticsearch-analysi
elasticsearchとkuromojiプラグインで日本語の全文検索 - yuhei.kagaya
elasticsearchのインストール - yuhei.kagaya elasticsearchのGUI「elasticsearch-head」がとても便利 - yuhei.kagaya に続き。elasticsearch0.90.2でやってみました。 大きな流れはこんな感じ。 kuromojiプラグインのインストール デフォルトでkuromojiを使うようにelasticsearch.ymlを設定 kuromojiを使って形態素解析＆分かち書きしてインデクシング 検索 kuromojiプラグインインストール前に、検索できないことをテスト 学術研究用にlivedoorグルメのデータが公開されているので、利用規約に同意してダウンロード、解凍展開した後、 下記のPHPスクリプトを使ってとりあえず47都道府県データのprefのみをelasticsearchへ登録してみました。 livedoor
ElasticSearch で kuromoji を使う (ES 0.90.Beta1 + kuromoji 1.2.0篇) - Qiita
なんか ES + kuromoji の使い方のドキュメントが古かったりしたので防備録。ES 0.90.Beta1 + kuromoji 1.2.0 の話しです。なおこの情報もすぐ古くなるかもしれないので注意な！ インストール 適当に brew install https://gist.github.com/hotchpotch/5133549/raw/bdeea58fa72c33f74131f27ec78758556182d7ba/elasticsearch.rb /usr/local/opt/elasticsearch/bin/plugin -install elasticsearch/elasticsearch-analysis-kuromoji/1.2.0
elasticsearch kuromoji plugin - natural days
elasticsearchのkuromoji pluginの使い方(コピペ用)を備忘録で書いておくことに。 JDK, maven2が使える前提です。elasticsearchのkuromoji pluginはこちら。昨日(2012/11/14)くらいからまたコミットがちょくちょく行われているので、現時点での設定方法です。 readmeにある通り、bin/plugin -install elasticsearch/elasticsearch-analysis-kuromoji/1.0.0これで一発インストール＆すぐ使えるかと思ったらそうでは無く、gitから取ってきてビルドして使う感じでした。 # setting mkdir workcd workwget https://github.com/downloads/elasticsearch/elasticsearch/elasticsearc
Java製形態素解析器「Kuromoji」を試してみる
概要 Javaの比較的新しい形態素解析器、Kuromoji。 lucene-gosenやGomokuのように辞書内包で、jarを落とせばその場で利用でき、Unidicに対応していて、ソースがLuceneのtrunkにコミットされているという、何かと気になる特徴の持ち主。 複数のモードを持っているようで、Searchモードを使うと「日本経済新聞」を「日本 | 経済 | 新聞」のように検索で利用しやすい形にばらして解析してくれたり、Extendedモードを使うと未知語をuni-gramにしてくれたりもするらしい。 今日はそんなKuromojiさんの導入から簡易な使い方までをさらっと追いかけてみた。 導入 まずは下記ページからダウンロード。今回はkuromoji-0.7.5.tar.gzを利用。 Downloads - atilika/kuromoji https://github.com/at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerを利用して Elasticsearch + Kibana の環境で kuromoji + Neologd を試す - Qiita
Embulkで日本語をお手軽に形態素解析 - Qiita
http://www.drunk-boarder.com/blog/kuromoji/
elasticsearch-rails を使っているときの custom analyzer 設定の書き方 - 彼女からは、おいちゃんと呼ばれています
Rails + Elasticsearch + kuromoji のテストを Wercker で実行する - 彼女からは、おいちゃんと呼ばれています
Elasticsearchで日本語(kuromoji)を使う - Qiita