Elasticsearch に Jolokia を組み込むメモ（Amazon Linux の場合） | iret.media
ども、cloudpack の かっぱ (@inokara) です。 はじめに Jolokia という JMX のメトリクス情報を HTTP 経由で取得出来るツールがあるのは知っていたけど Elasticsearch に組み込んで使う方法をちょっと調べたのでメモ。Jolokia を Elasticsearch に組み込む意味があるかどうかは解らない（ Marvel とかでメトリクス見えるので）けど、Java のアプリケーションの内部情報監視を検討する際にはユーティリティとして Jolokia は覚えておきたい。 memo Jolokia を取得 $ sudo mkdir /opt/jolokia $ cd /opt/jolokia $ sudo wget http://labs.consol.de/maven/repository/org/jolokia/jolokia-jvm/1.2.3/
Elasticsearch 1.4 で Kibana 3 からアクセスした際に Connection Failed というエラーが出てしまった時の対処 | iret.media
ども、 cloudpack の かっぱ (@inokara) です。 はじめに 2015 年もやっぱ Elasticsearch と Kibana だよねって鼻歌交じりでセットアップしていたら以下のようなエラーが出てしまったので対処方法をメモしておきたいと思います。 参考 reference [1.4] » modules » http Elasticsearch 1.4.0.Beta1のリリース Kibana returns "Connection Failed" Kibana 3 and Elasticsearch 1.4 – CORS problem 原因と対処 原因 原因という書き方をする「問題」という風に取られてしまいそうですが、上記の参考にもあるように Elasticsearch 1.4 以降はセキュリティ向上を目的として CORS がデフォルトで無効となったようです。（※ C
Elasticsearch のクラスタメモ | iret.media
ども、cloudpack の かっぱ（@inokara）です。 はじめに Elasticsearch のクラスタ化って実はあまりやったことが無くて復習を兼ねてザクッと触ってみました。 データノードとマスタノード うんちく データを保持するだけのノード（データノード）を構築することが出来る 対してデータを保持せずにクラスタ管理と検索のリクエストを受け付ける処理だけを行うノード（マスタノード）を構築出来る 以下のような感じ マスタノード elasticsearch.yml の以下の項目を修正します。 cluster.name: hoge01 node.name: "search01" node.master: true node.data: false データノード 一台目。 elasticsearch.yml の以下の項目を修正します。 cluster.name: hoge node.nam
Elasticsearch の search api を sense で復習するメモ（1） | iret.media
ども、cloudpack の かっぱ（@inokara）です。 はじめに 前回の記事で @johtani さんに default_operator についてコメント頂いて、default_operator は全く意識しておらず自分のニワカっぷりに辛くなったので default_operator を含め search api と simple_query_string にフォーカスして改めて復習することにしました。（筆者の体力の都合上、全てを本ポストに記載するのは辛いのでシリーズ化してちょっとずつ書いていきます…） 今回は生で curl を叩くのではなくて Marvel に同梱されている sense を使って叩いてみたいと思います（案の定 Sensu と間違えました） 参考 search apis simple_query_string Elasticsearch Marvelの紹介と第一印
Elasticsearch の検索結果を csv に書き出すスクリプトを作った | iret.media
ども、cloudpack の かっぱ（@inokara）です。 はじめに Elasticsearch の検索結果を csv に書き出すスクリプトが欲しかったので作りました。 ギットハヴ ネーミングセンス無くてすいません。 inokappa/es-output2csv ツッコミお願い致します！m(__)m 作った経緯 Elasticsearch の入っているログデータの中から任意の検索結果のみが欲しい、csv で…。JSON なら速攻なのに csv となると…意外に情報が無いというか、csv で出力するというニーズがあまり無いのか、探した方が悪いのか…よくわかりませんがとりあえずヤッツケで作ってみました。 全部苦労しましたが、Ruby での HTTP リクエストの扱い方や JSON リクエストの投げ方、csv の扱い方等勉強になりました。 デモ gif アニメーションでの動作デモです。止まっ
Elasticsearch 各クエリのメモ | iret.media
ども、cloudpack の かっぱ（@inokara）です。 はじめに 取り急ぎのメモです。 検索系 インデックスのレコード数確認 curl -XGET 'http://${HOST}:9200/_cat/count/${INDEX_NAME}' インデックス内から任意のフィールドの値のみを取得 curl -XGET 'http://${HOST}:9200/${INDEX_NAME}/_search?pretty' -d ' { "fields": [ "f1","f2","f3"] }' ちなみにネストされているレコードも以下のように取得出来る。 curl -XGET 'http://${HOST}:9200/${INDEX_NAME}/_search?pretty' -d ' { "fields": [ "f1.n1","f2.n2","f3.n3"] }' 件数を指定して値を取得
Elasticsearch のインデックスを削除するスクリプトを書いたメモ | iret.media
どうも、cloudpack の かっぱ（@inokara）です。 はじめに Elasticsearch はカジュアルにログを溜めることが出来て、検索も可視化もらっく楽ですがインデックスのメンテナンスはちゃんとしたいところです。ということで、 Elasticsearch の API の復習を兼ねて Ruby で作ってみました。 es-index-maintence Index API はじめに 使っているのは以下の二つの API です。 indices exists delete index indices exists で削除対象となるインデックスが存在していたら delete index を利用して削除します。 とても簡単ですな。とは言え、一応、二つの API を叩いてみましょう。 indices exists HEAD メソッドを利用します。 curl -XHEAD 'http://l
sensu-server のログを fluentd を使って Elasticsearch で可視化したり Slack に通知したりする | iret.media
どうも、cloudpackのかっぱ（@inokara）です。 はじめに 最近、sensu 周りでやったことを書きます。 sensu-server で管理するクライアントの数が増えてくると純粋な sensu-server のログは目 grep では追いつかないくらいの量に増えてしまいます。このログを Elasticsearch に放り込んでみたりエラーレベルなログは Slack に通知する仕組みを fluentd を利用して作りました。 以下のようなイメージ。 尚、今回は監視対象で発生する warning や critical なログをどうこうするというお話ではなく、あくまでも sensu-server の動作ログのお話となります。ただ、同じような仕組みで可視化や通知を行うことは可能かと考えています。 実装にあたりましては以下の書籍を参考にさせて頂きました。 サーバ/インフラエンジニア養成読
Elasticsearch スナップショット 5 分で取得する | iret.media
どうも、かっぱ（@inokara）です。さくっと纏めました。（データ量によっては 5 分で取得出来ないので注意しましょう） 参考 snapshot and restore 準備 バックアップ用ディレクトリ作成 cd /path/to/dir sudo mkdir -p elasticsearch/snapshot sudo chown -R elasticsearch:elasticsearch elasticsearch スナップショットを保存するディレクトリのオーナーとグループは elasticsearch にしておきましょう。 リポジトリの作成 curl -XPUT 'http://localhost:9200/_snapshot/snapshot' -d '{ "type": "fs", "settings": { "location": "/path/to/elasticsear
cloudpackブログ - Kibanaってなんじゃ？（Kibana+elasticsearch+fluentdでログ解析）
以前紹介した記事「splunkってなんじゃ？（splunk enterpriseを使ってみる）」では splunk enterpriseを 使ってみました。 今回もログ解析プラットホームである、Kibanaを使ってみます。 Kibanaは検索などにElasticsearchを利用します。 またKibanaはデータの収集にLogstashの利用を推奨しています。 それぞれ以下のようなプロダクトです。 ○Logstash ログデータを収集し、解析して保存します。 この組み合わせで使用する場合、保存先はelasticsearchになります。 ○Elasticsearch リアルタイムデータの全文検索や統計などをRestfulインターフェースで提供します。 ○Kibana データの情報を描画し、検索したりドリルダウンで情報をたどれるGUIアプリケーションです。 この3つを組み合わせて使用すると便利
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kibanaってなんじゃ？（kibana3 + elasticsearch + fluentd） | iret.media