Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
第３回 Elasticsearch 入門 ドキュメント管理は意外と高度なことができる | DevelopersIO
今回は「ドキュメント管理は意外と高度なことができる」というテーマで、そのドキュメントを追加・更新・削除する操作について解説します。 きっと、他の検索エンジンと比べ、その高機能ぶりに驚くはずです。 直感的に分かりやす API Elasticsearch は検索をはじめ、各種設定やサーバの状態取得など、ほとんどの操作を API として提供しています。もちろんドキュメントの追加・参照・更新・削除の API も提供していて、その仕様はとてもシンプルで直感的に使いこなすことができます。 ドキュメントをあらわす URL スキーマは以下のようになっています。 /{index}/{type}/{id} 基本的には、各種ドキュメントのエンドポイントに対して、GET PUT POST DELETE HEAD メソッドで追加・更新・削除などの操作が可能です。 例えば、posts というタイプを持つ blog イ
Elasticsearch Marvel 2.x はプロダクションでも無料で使えるので入れておこう。
入社３日目の木戸です。入りみだれるチャットコミュニケーションにあたふたしつつも、社内のドキュメントなどを読みあさりながら、少しづつ会社にも慣れてきたかな？といった感じです。 そのうち「Elasticsearch 入門シリーズ」でも連載しようかと考えているのですが、今回記念すべき１本目のブログは、 なぜか、Marvel です！ニッチですw MarvelMarvel 2.x は、Kibana 4 をベースにUIが再設計され、Elasticsearch 2.x を効率的に管理するための主要なメトリクスにフォーカスされていて、より監視しやすいUIになっています。 Marvel 1.x では有償の製品として提供されていましたが、Marvel 2.x は、Basic License を申請することで、開発でもプロダクションでも無料で使い続けることができますので是非導入しておきましょう。 注意 マルチク
Elasticsearchインデクシングのパフォーマンスを測ってみた
【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮Hibino Hisashi
Elasticsearch導入前に気を付けておきたいこと！ - Qiita
はじめに Elasticsearchを仕事で使うことになったので導入前に考えるであろうことを調査・検証し、まとめてみました。 記載されている内容はほぼ公式ドキュメントから引っ張ってきています。それぞれの章にリンクを付けてありますので、記載されていること以外に気になる部分があればそちらを参照されるとよいと思います。 インストールについて ここで設定している内容はすべてansibleのスクリプトに落としてあります。 5分あればcurl,javaのインストール、Elasticsearchのインストール・初期設定、プラグインのインストールが終わるはずです。 https://github.com/uzresk/ansible-elasticsearch2 環境 CentOS6.7 Java1.8.0_45 Elasticsearch 2.1.1 HeapSizeの設定 Elasticsearchが使
Elasticsearch インデックス・エイリアス
リインデックスってどうやるんだろう？と思い調べていたところ、エイリアスの方が気になってしまったので先にまとめ。 インデックス・エイリアスとは？インデックス・エイリアスはその名の通りインデックスに別名をつけられる機能のこと、同じエイリアス名を複数のインデックスにつけることもできるし、１つのインデックスに複数のエイリアス名をつけることもできます。FAST ESP のサーチプロファイルっぽい！または、リレーショナルDBのビューみたい！なイメージの機能です。 実際の設定は、各インデックスに対してエイリアス名を設定するのですが、理解するイメージは下の図の方がイメージしやすいかと思います。 インデックス・エイリアスエイリアスを使わない場合は、直接インデックスを指定して検索するわけですが、クライアントからエイリアス宛に検索するようにすることで、検索対象のインデックスをElasticsearch側でコント
Elasticsearchへのクエリが突然Failし始めた時の対処(fielddata cacheがデフォルト無限で泣いた話) - Qiita
Elasticsearchへのクエリが突然Failし始めた時の対処(fielddata cacheがデフォルト無限で泣いた話)Elasticsearch Elasticsearchにクエリ投げても突然応答しなくなるという事象が発生し、調査してみたので内容をシェア。 出たエラー 突然Elasticsearchのクエリがfailし始めて、Kibanaのグラフが応答しなくなったという話が上がる。。 ログ見てると、下記の用語が怪しいので調査 うちの環境だと、HEAP_SIZEを18gにしていたので、まさにこのエラーは、[indices.breaker.fielddata.limit]でひっかかっている。(18g*60%=10.8g...) OOM(OutOfMemory)を制御する為の機構 デフォルト値は下記 [indices.breaker.fielddata.limit] The fieldd
Changing Mapping with Zero Downtime
Search and analytics, data ingestion, and visualization – all at your fingertips.
elasticsearchでダウンタイムなしでインデックスのマッピングを切り替える - Qiita
TL;DR elasticsearch公式ブログの手順を試したらできたのでメモ。index aliasesを使うと実現できる。 Elasticsearch.org Changing Mapping With Zero Downtime | Blog | Elasticsearch 背景 最近、elasticsearch v1.4系 + kibana4 をログの可視化用途として本番環境で利用し始めてみたものの、ほとんどデフォルトのままの設定ではkibana上でtermsによるデータのカウントがうまくとれないという問題に行き当たりました。 原因としては、string型として扱われているfieldがデフォルトでanalyzed属性を持っているため、fieldの値がtoknizeされてインデックスされていたためでした。stringのfieldをnot_analyzedにするためには以下の様なind
太陽光パネルの発電量をAWS IoTとAmazon Elasticsearch Serviceを使って可視化してみる - Qiita
% aws es create-elasticsearch-domain --domain-name solar { "DomainStatus": { "ElasticsearchClusterConfig": { "DedicatedMasterEnabled": false, "InstanceCount": 1, "ZoneAwarenessEnabled": false, "InstanceType": "m3.medium.elasticsearch" }, "DomainId": "736384702727/solar", "Created": true, "Deleted": false, "EBSOptions": { "EBSEnabled": false }, "Processing": true, "DomainName": "solar", "SnapshotOp
RailsでElasticsearch: 全文検索を実装 - Rails Webook
RailsでElasticsearchを使ってレストラン検索アプリを作成、店名、住所、カテゴリなどからレストランを全文検索できるようにします。また、フィルタ(filter)も使って検索条件を指定することで、閉店している店舗も含めて検索できるようにします。 今後、Elasticsearchのページネーション・ページあたりの表示件数、ソート、ファセット・post_filter、ハイライト、サジェスト機能などをより実践的な機能を実装していきます。 目次 ElasticsearchのMacへのインストール Railsプロジェクト作成とテストデータ作成 RailsとElasticsearchで全文検索を実装 検索条件を指定する 動作確認 Mac OS X 10.11 El Capitan elasticsearch 1.7.2 Rails 4.2.3 elasticsearch-dsl 0.1.2
Elasticsearch スナップショット 5 分で取得する | iret.media
どうも、かっぱ（@inokara）です。さくっと纏めました。（データ量によっては 5 分で取得出来ないので注意しましょう） 参考 snapshot and restore 準備 バックアップ用ディレクトリ作成 cd /path/to/dir sudo mkdir -p elasticsearch/snapshot sudo chown -R elasticsearch:elasticsearch elasticsearch スナップショットを保存するディレクトリのオーナーとグループは elasticsearch にしておきましょう。 リポジトリの作成 curl -XPUT 'http://localhost:9200/_snapshot/snapshot' -d '{ "type": "fs", "settings": { "location": "/path/to/elasticsear
Elasticsearch運用とか (4) - なんかかきたい
今回はelasticsearchのバージョンアップ手順をまとめます。 elasticsearch 1.0以降を使っている場合、ダウンタイムなしでアップグレードできます。 ElasticSearchの運用とか (1) - なんかかきたい ElasticSearchの運用とか (2) - なんかかきたい ElasticSearchの運用とか (3) - なんかかきたい NOTE: 1.6以降の追記をしました (2015/10/22) elasticsearchのゼロダウンタイムアップグレード upgrading http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-upgrade.html elasticsearch 1.x 以上のバージョンを使っている場合、ダウンタイムなしでアップグレードするこ
Riak, Elasticsearch and numad walk into a Red Hat
What starts like a joke is really a serious post about large distributed systems. This is what we run at meltwater - and while there is a lot of fun designing and administering these systems, we run into odd problems from time to time. In this case: some well-meant Red Hat memory optimisations interfering with Riak performance. There is a lot of talk around “Big Data” in the industry - and here at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearchを用いたはてなブックマークのトピック生成
Elasticsearch Cheat Sheet for developers
Kibana4でいろんなデータを見てみよう