AWS Cloud Plugin for ElasticSearchを使う – AWSで始めるElasticSearch(3) | DevelopersIO
AWS Cloud Plugin for ElasticSearchを使う – AWSで始めるElasticSearch(3) はじめに @smokeymonkeyです。 前回(Cluster機能を使う – AWSで始めるElasticSearch(2))、以下のように書きました。 Discoveryはデフォルトではマルチキャストを使ってmaster nodeを検索しに行くようです。 しかしAmazon Virtual Private Cloud FAQに Q: Amazon VPC は、マルチキャストまたはブロードキャストをサポートしますか? いいえ。 と記載されています...Amazon VPCではmulticast discoveryは使えません。 この記事について、以下のコメントを頂きました(Jun Ohtaniさん、ありがとうございます！) そこで今回は、AWS Cloud Pl
Cluster機能を使う – AWSで始めるElasticSearch(2) | DevelopersIO
はじめに 出張ブロガーの@smokeymonkeyです。今回はElasticSearchのCluster機能を使ってみました。 Cluster設定 ElasticSearchの設定は/etc/elasticsearch/elasticsearch.ymlで行いますが、このファイルの冒頭には以下のように記載されています。 Most of the time, these defaults are just fine for running a production cluster. ということで細かい設定せずにこのままいっちゃいます。 まず、ElasticSearchをセットアップした2台のEC2を用意し、セキュリティグループで9200/tcp、9300/tcpのInboundをオープンします。 ElasticSearchはAPI over HTTPで9200-9300/tcpを、クラスタ間の
ElasticSearchをクラスタモードで実行 – OpenGroove
ここ最近一部でアツいらしいElasticSearchで遊んでみた。ElasticSearchって何、という話は今回割愛。 実行環境はAWS m1.small のCentOS 6.3 1台。1台だけでもクラスタリングができるってのはKafkaに似ているな（追記：テスト環境以外では、普通 1マシンに1ノード）。 インストール。適当な場所で実行。 $ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.3.tar.gz $ tar xvzf elasticsearch-0.90.3.tar.gz $ sudo cp -pr /tmp/elasticsearch-0.90.3 /usr/local/ $ sudo ln -s /usr/local/elasticsearch-0
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
elasticsearchのパフォーマンスをnewrelicでモニタリングする(centos) - Qiita
mkdir -p /var/log/newrelic/ mkdir -p /var/run/newrelic/ mkdir -p /etc/newrelic/ cp -p /opt/newrelic_plugin_agent/newrelic_plugin_agent.rhel /etc/init.d/newrelic_plugin_agent chmod +x /etc/init.d/newrelic_plugin_agent cp -p /opt/newrelic_plugin_agent/newrelic_plugin_agent.cfg /etc/newrelic/ Application: license_key: ${newrelic_key} wake_interval: 60 #proxy: http://localhost:8080 elasticsearch: name
ElasticHQ - Elasticsearch Management and Monitoring
ElasticHQ is an open source application that offers a simplified interface for managing and monitoring Elasticsearch clusters. Real-Time Monitoring From monitoring individual cluster nodes, to viewing real-time threads, ElasticHQ enables insight in to ElasticSearch cluster runtime metrics and configurations. ElasticHQ's websocket data streams keep you up-to-date with the internals of your working
簡単！Vagrant+Docker+td-agent+Elasticsearch+Kibanaで流行に乗ろう - As a Futurist...
Fluentd Advent Calendar 2013に登録したものの、そういえば 1 年位全く fluentd に触ってなかったので、リハビリも兼ねて最近バージョンアップで導入された Vagrant の Docker provisioner を使って、ES+Kibana に流すとこまでを作ってみた。実用性には乏しい。 riywo/vagrant-docker-td-es-kibana-sample 以下解説。 Vagrantfile localhost から port forwarding で box の同じポートに接続させてる。さらに box の中で Docker が走っていて、Docker provisoner でコンテナを起動する時に、port redirect させているので、クライアントからダイレクトにコンテナと会話ができるようになっている。 ES と Kibana はarc
Elasticsearchのデータを簡単にimport/exportする - (ﾟ∀ﾟ)o彡 sasata299's blog
2013年12月04日16:03 JavaScript Elasticsearchのデータを簡単にimport/exportする 最近、Kibana と Elasticsearch と Fluentd の組み合わせでログを可視化するの見かけたので僕も試してみました。とても簡単に可視化できて素晴らしいですね〜 :D ただ、開発環境で Elasticsearch のデータを作るのはメンドクサイです。うーん、何か良い方法は無いものかと探していたら、elasticsearch-knapsack (ナップサック!!!1) という Elasticsearch のデータを import/export してくれる gem を見つけました。これは便利そう！！ これを使って、本番環境のデータをちょろっと手元にコピーしてみました。 まずエクスポートから。github で書かれている通り、エクスポートさせたいサー
Apache Lucene - Query Parser Syntax
Although Lucene provides the ability to create your own queries through its API, it also provides a rich query language through the Query Parser, a lexer which interprets a string into a Lucene Query using JavaCC. Generally, the query parser syntax may change from release to release. This page describes the syntax as of the current release. If you are using a different version of Lucene, please co
apache-loggen + fluentd + elasticsearch + kibana = ログ検索デモ
もう何番煎じだ？ってくらい書かれてますが、コリもせず書いてみました。 Elasticsearch＋Kibanaの環境を作って、タムタムさんのログ生成ツールからApacheのダミーログを流しこんで入れてみました。 参考URL memorycraftさんのブログ Kibana Elasticsearch fluentd apache-loggen インストールと起動 今回はCentOSへのインストールです。 基本的にはmemorycraftさんのブログの流れのままです。 elasticserchのインストールと起動 ダウンロードして、起動するだけ。 お試しということで、-fオプションにてコンソールにログ出力。 curl -OL https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.1.
fluent-plugin-geoip v0.0.4 をリリースしました。ElasticSearch＋Kibanaの世界地図に位置情報をプロットするために必要なFluentdの設定サンプルも紹介します
fluent-plugin-geoip v0.0.4をリリースしました。 今回は主にGeoLiteCityデータベース参照パスの不備の修正とREADMEの加筆を行いました。 https://github.com/y-ken/fluent-plugin-geoip http://rubygems.org/gems/fluent-plugin-geoip 修正内容の説明に続けて、後半では次のお役立ちTipsの紹介も行います。 インストール時のTips Fluentd + ElasticSearch + Kibana v3 を使う際のTips 変更内容概要 v0.0.3とv0.0.4の修正差分より紹介します。 [不具合] GeoLiteCityデータベース参照パスの不備を修正 [改善] 過剰なログ出力の削除 [改善] Travis-CIを用いた自動テストへの対応 Tips紹介 ここで、ハマりやす
Elasticsearchのhead plugin - ほわいとぼーど
Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。 logstash形式にはしたばっかりでまだデータ溜まってないので、 自力でlogstash形式になるようにログの日付と同じindexを作って入れて Kibana3でlogstash形式で見てみましたが普通に動きました。 日付も@timestampではなくログから入れたrequest_time指定で問題なく。 ※このrequest_timeとかいう名前付けが紛らわしいかもしれないことを 今更ながら気づきましたが今の所は勘弁してやってください。 Apache2ログにおける日付の部分を抽出したもののことです。 きっとFluentd設定を説明する回があったらこの話もするはず
tree-tips: elasticsearch.ymlの設定 | elasticsearch
elasticsearch version0.20.6の設定 elasticsearchの設定ファイルです。 solrで言うところのsolrconfig.xmlに当たります。 では早速 /usr/local/elasticsearch/config/elasticsearch.yml を見ていきます。 solrconfig.xmlより少ないとはいえ、それなりの量なので軽く流し見しましょう。 elasticsearch.yml ##################### ElasticSearch Configuration Example ##################### # This file contains an overview of various configuration settings, # targeted at operations staff. Appli
今日のひとこと
ElasticsearchのKNNクエリーができることを一通りまとめたほうが良いなーと思っていたので、今回まとめてみることにする。ANNとしての性能や精度は一旦忘れて、クエリーとしてできることに注目する。 KNNクエリーを試すにあたって、わかりやすいデータでないと良いのかどうかがわからないので、都道府県の県庁所在地的な緯度経度のデータを用いることにする。（ジオ・サーチで良いじゃんとか、地球は球面だよねとか、は置いておいて、結果の理解のしやすさだけに注目しているので、そのへんの細かいことは気にしないものとする） 環境準備 今回は、Elasticsearch 8.12で確認するので、別途起動して置いてください。Dockereとか使えるなら、codelibs/docker-elasticsearchでも簡単に起動できます。 まずは、インデックスマッピングを指定して、インデクスを作成します。今回は
fluentd-plugin-elasticsearchでのログ時刻の扱い - ほわいとぼーど
これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ以外でfluentd-plugin-elasticsearchの動作に 違いが見られたのでメモしておきます。 ところで"request_time"としたのには理由があったのですが、 その理由は本筋ではないので最後に書くことにします。 ①ログ時刻を通常のラベルを用いて登録する場合 この場合はラベル名を"time"以外にしてパースします。 つまりこれまでの場合は"request_time"としていました。 この時点では他の項目と同じJSON(MessagePack)の一項目なので文字列です。 そしてそのラ
第2回elasticsearch勉強会でKibanaの発表をしてきました #elasticsearchjp - y_310's diary
2013年11月12日にリクルートテクノロジーズで開催された「第2回 ElasticSearch勉強会」で「Kibana入門」というタイトルで発表してきました。 社外で発表をするのは初めてだったのでどんな雰囲気になるか不安でしたが、色々質問していただけて安心しました。懇親会でも話しかけていただけてありがとうございました。 長さの関係で発表資料に書かなかったことをいくつかこちらに書いておきます。 クエリのピン止め クエリは名前をつけてピン止めすることができます。ヒストグラムパネルやテーブルパネルはグラフに使用するクエリをすべてのクエリ、ピン止めしたクエリ、ピン止めしていないクエリ、選択したクエリから選べますのでパネルごとに異なるクエリを指定したい時に便利になります。 ヒストグラムの一部を拡大 画面上特にヒントがないので意外と気づきづらいですが、ヒストグラムはグラフ上でドラッグすることで選択し
第2回 ElasticSearch勉強会で発表してきました＆参加レポート #elasticsearchjp - Y-Ken Studio
2013年11月12日にリクルートテクノロジーズで開催された「第2回 ElasticSearch勉強会」に参加＆発表しましたので、レポートします。 発表テーマ 「ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ」というテーマで発表しました。 ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ from Kentaro Yoshida まだ検証段階ではありますが、ElasticSearchとKibanaの組み合わせはかなり気に入っています。 なお、発表で言及した0.90.6の不具合が修正された elasticsearch-0.90.7 が既にリリースされておりますので、これからElasticSearchを使われる方は0.90.7をお使いください。 聴講メモ ElasticSearchの書籍
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kibana入門
Fulltext search with Node.js and elasticsearch
Elasticsearchのクエリメモ - Qiita
