国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog
2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela
Elasticsearchのアナライザーを試す方法 - CreateField
アナライザー(トークナイザ)の登録 % curl -XPUT 'localhost:9200/test' -d ' { "settings" : { "analysis" : { "analyzer" : { "my_ngram_analyzer" : { "tokenizer" : "my_ngram_tokenizer" } }, "tokenizer" : { "my_ngram_tokenizer" : { "type" : "nGram", "min_gram" : "2", "max_gram" : "2", "token_chars": [ "letter", "digit", "symbol" ] } } } } }' ' Note:token_charsには、whitespaceとかpunctuationとかもある。 アナライザー(トークナイザ)の確認手順 % curl
Elasticsearchのクラスタにノードを追加するときにやっていること - すずけんメモ
Elasticsearchのクラスタにノードを追加するのは簡単にできる。しかし、インデックスを盛々積んだクラスタにノードをカジュアルに追加すると、一気にシャードのアロケーションが走って負荷があがる。また、何の設定もせずに追加するとsplit brainを起こしやすくなる。適切に設定すれば大丈夫なので、それをまとめておく。 結論 安全にやるなら、 ノード追加前に全shardの移動を止める。 split brainを避けるために、最小のマスターノード数を設定しておく。 ということをしておくとよい。 クラスタ設定はリアルタイムに変更できるので活用しよう。 Cluster Update Settings http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/cluster-update-settings.html
Elasticsearch インデックス・エイリアス
リインデックスってどうやるんだろう？と思い調べていたところ、エイリアスの方が気になってしまったので先にまとめ。 インデックス・エイリアスとは？インデックス・エイリアスはその名の通りインデックスに別名をつけられる機能のこと、同じエイリアス名を複数のインデックスにつけることもできるし、１つのインデックスに複数のエイリアス名をつけることもできます。FAST ESP のサーチプロファイルっぽい！または、リレーショナルDBのビューみたい！なイメージの機能です。 実際の設定は、各インデックスに対してエイリアス名を設定するのですが、理解するイメージは下の図の方がイメージしやすいかと思います。 インデックス・エイリアスエイリアスを使わない場合は、直接インデックスを指定して検索するわけですが、クライアントからエイリアス宛に検索するようにすることで、検索対象のインデックスをElasticsearch側でコント
elasticsearchのスコア検索が使えそうだわ
どうも、こんにちは。なかDでございます。 以前書いた記事『いろんなニュースアプリを（想像で）図解してみた』って記事でもふれたんですが、とあるコンテンツを、キュレーションするアルゴリズムを使って配信出来ないかとリサーチ中でございます。 したらば、エンジニアの方々から『elasticsearch.』っていう、新しくて超カッチョイイ全文検索エンジンがあると聞いたわけです。 はじめに参考にしたブログ記事 まずはじめに、こちらのブログを参考にさせていただきました。試しにインストールして実行してみたのですが、とても解りやすいです。ありがとう御座います。 Hello! Elasticsearch. 実践！Elasticsearch elasticsearchとは？ 特徴としては、おおよそこんな感じでしょうか。 ・リアルタイム全文検索エンジン ・リアルタイムアナリティクス ・複数のインデックス ・分散型
Kibana の elasticsearch のデータで監視 - Qiita
2016/1/12 追記 elasticsearch 2.x では Facet 機能が無くなっているので Aggregation を使って同様の結果を得る方法を追記しました Kibana でグラフなどを眺めるだけでなく、elasticsearch (以降ES) の計算機能を利用して監視に使う方法です。 ブラウザの Developer Tools などで Kibana が ES に問い合わせているクエリを確認しながら試します。ES は機能が豊富すぎてなかなか大変です。ES を使うなら「高速スケーラブル検索エンジン ElasticSearch Server」を読むと良いと思いますが、本だけ読んでもクエリの種類や機能が多すぎて挫折します。試しながら必要な時に必要な箇所を読みましょう。全く読まないとそれはそれで落とし穴に嵌りそうなのが ES です。暗黙での動作に要注意です。 それでは本題です。 K
Elasticsearch 特徴まとめ
以前から気になっていたElasticsearch、いつの間にか バージョンも1.0.1がリリースされていたので、そろそろ情報収集。まずは、パッケージに含まれるREADMEから。 Elasticsearch とは？簡単に説明すると、クラウド向けに構築された、RESTful な API を提供する分散型のサーチエンジンアプリケーション。オープンソースで提供されています。 http://www.elasticsearch.org/主な特徴は？READMEから主な特徴を抜粋。 ＊分散処理システムと高可用性サーチエンジン 各 Index は変更可能な数の Shard で完全に分割されている。Shard は、１以上の Replica を持つことができる。リード／検索処理は、Replica Shard のいずれかの一つで実行される。＊マルチテナントとマルチ Type １つ以上の Index をサポートI
Elasticsearch モジュール構成
Elasticsearch を構成している主要モジュールまとめ。 Modules.clusterdiscoverygatewayhttpindicesmemcachednetwork settingsnodetribe nodepluginsscriptingtext scoring in scriptsthread poolthrifttransportsnapshot and restoreCluster module.cluster モジュールは主にcluster 内の Shard の管理をしているモジュール。Shard の各 node への自動割当や、強制割当。検索時の自動的な node の選択などの管理を提供。 Discovery module.Discovery モジュールは、cluster 内の node の発見や、マスター node を選出するモジュール。 NOTE: El
elasticsearch : きょうもぼへぼへちゃんがゆく
27 4月 2014年04月27日 20:55 カテゴリelasticsearch elasticsearch勉強会にいってきた #elasticsearchjp 大人気の勉強会。よく、今回も席がとれました。 時間ができる都度ちょくちょくは触っているんだけど、 ガチで時間がとれないので、勉強会にいくことで、ちょっとブラッシュアップしている気持ちになってます。（すいません） そのうち、ガチで業務の導入検証をしたい。 さて。 ■「アナライズ処理の仕組みとクエリDSL」 by 株式会社シーマーク 大谷純さん(@johtani) 大谷さんのセッションは基本を説明してくれます。 ここで、いつも、あ、そうだった、そうだった！とか思い出させていただいています。 「アナライズ処理の仕組みとクエリDSL」 それと、ApacheSolrではみれるAnalysisの画面の情報をJSONでだしてくれるというもの。
Scaling real-time search and analytics with Elasticsearch
See the video here: https://www.youtube.com/watch?v=o6lSeNatVFM A look at the elements required by Elasticsearch to turn a simple inverted index into an auto-clustering, horizontally scalable real time search and analytics engine. The talk will start from first principles, explaining how an inverted index works, how to make an inverted index suitable for real time search, how to scale that out, an
ElasticsearchでMySQLから取り込み時に配列として入れる - Qiita
ElasticsearchでMySQLから自動取り込みする時に、Elasticsearch側ドキュメントのフィールドに配列として取り込みたい。 やっぱできないかなーと思ったら、できたのでメモ 。 環境 Elasticsearch -> 1.1.0 MySQL JDBC ドライバ -> 5.1.30 river-jdbc プラグイン -> 1.1.0.0 以下の前提で。 取り込み対象MySQLテーブル名： myTable Elasticsearchインデックス名： myIndex Elasticsearchタイプ名： myType Elasticsearchのriver名： myRiver インデックスのマッピング設定例 （例なので Kuromoji 等は設定していません） { "settings": { "analysis": { "analyzer": { "ngram_analyzer
elasticsearch-kopfの紹介（rest画面）
今日はelasticsearch-kopfのREST画面の紹介です。 （簡単なところから。。。） メニューのrestを選択すると、次のような画面が表示されます。 Elasticsearch自体が、さまざまな操作をRESTでできる仕組みになっています。 検索にも利用しますが、それ以外の設定などにつてもリクエストを送ればOKです。 ですので、リクエストや設定を自分で組み立てて送ることができる画面が用意されているととても便利です。 （もちろん、curlコマンドでもいいのですが、画面があると便利ですよね） History 履歴表示画面です。 これまで、kopfのrest画面を利用して送信したリクエストが一覧で表示されます。 Historyという文字をクリックすることで、表示/非表示の切り替えが可能です。（最初は非表示） マウスオーバーすると、リクエストボディがポップアップで表示されます。 履歴にあ
elasticsearch - guide - Twitter River
The twitter river indexes the public twitter stream, aka the hose, and makes it searchable. The twitter river is provided as a plugin and can be installed using plugin -install river-twitter. Creating the twitter river can be done using: curl -XPUT localhost:9200/_river/my_twitter_river/_meta -d ' { "type" : "twitter", "twitter" : { "user" : "twitter_user", "password" : "twitter_passowrd" }, "inde
elasticsearch-kopfの紹介（概要）
なんだか、ドタバタしてて久しぶりの更新です。 ベルリンの旅行記みたいなのも書きたいのですが、まずはこちらかと。 elasticsearch-kopfプラグインの紹介です。 今回は概要の説明だけになります。機能が結構多いので。 elasticsearch-kopfとは？ _siteプラグインの一つで、クラスタ管理用のプラグインになります。 headプラグインやHQプラグインと同様です。 このようにシンプルな画面で、スッキリとしています。 緑を基調にした画面構成はElasticsearchの緑色を意識してるんでしょうか？ 上記の画像に簡単なコメントを入れてあります。 メニュー KOPF：KOPF自体の設定（接続先とリフレッシュインターバルの変更） cluster：クラスタ管理、情報（デフォルト表示画面） rest：RESTリクエスト送信、結果表示画面 aliases：エイリアス管理 analy
インフラ関係のメモ書き | fluentdからElasticSearch+kibana3に転送した文字列が分かち書きされるのを回避する
fluentdからElasticSearch+kibana3に文字列を転送すると、最初に必ず分かち書きの問題で困ることになると思います。 ここでは分かち書きの回避について書いてみます。 分かち書きで困った例 fluentdを使ってApacheのアクセスログをElasticSearch+kibana3に転送し、どのページに何回アクセスがあったかを一覧するダッシュボードを作ってみたとします。 「アクセスされたパス一覧とアクセス数テーブル」というテーブルにはApacheのLogFormatの「リクエストされたURLアドレス(%U)」要素を入れて、アクセスされたパスごとのアクセス数が集計できるようにしています。グラフはそれをグラフ化したものです。 ちょうど以下の様なwordpressのサイトがあったとして、 上記のURLに1回アクセスされた結果が、 のようになることをイメージしています。 しかし、
elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6つのブログ記事をピックアップ（追記あり） - Y-Ken Studio
LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 （追記）Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic
Elasticsearch 日本語で全文検索 その２
Elasticsearch では、すでに日本語で全文検索する為のトークナイザーやノーマライズなどの加工処理で使用するフィルターなどがビルトインまたは、サードパーティ製のプラグインとして多数存在します。 ここでは、日本語全文検索で使用しそうなトークナイザーやフィルターなどを説明します。 主要モジュールNGram Tokenizer N-グラムを提供するトークナイザーです。Elasticsearch にバンドルされています。Japanese (kuromoji) Analysis for Elasticsearch 日本語形態素解析を提供するプラグインです。各種 Analyzer、Tokenizer、TokenFilterが含まれます。cjk_width Token Filter 半角・全角などを統一するためのフィルターです。Elasticsearch にバンドルされています。Lowercas
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Logstash + Elasticsearch を使ってみる - Qiita
Elasticsearch の index templates で解析方法を指定する（または、default mapping が効かない時に） - Qiita
(｡･ω･)ﾉﾞ elasticsearch url 検索 | (σ・∀・)σ ぴんちゃん