fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
elasticsearch unassignedになってしまったシャードの割り当て - notebook
elasticsearchを運用していて、たまにshardの割り当てがうまくいかずにずっとunassignedのままになってしまうシャードが出てきた時 一件づつならelasticsearchのAPIを利用して下記コマンドで解決できます curl -XPOST 'http://10.0.21.60:9200/_cluster/reroute' -d '{ "commands": [{ "allocate": { "index": "backend.error_log-2015-07-13", "shard": 4, "node": "10.0.21.61", "allow_primary": true } }] }' ただ、数が沢山あった場合には気分がめいってしまいますね curatorにそのような機能がないか見てみたのですがそれらしい記述を見つけることができなかったのでスクリプトで実装しま
fluentd + elasticsearch ではまったところ - notebook
fluentd + elasticsearch + kibana fluentd+elasticsearch+kibanaを導入してみたのですが色々と詰まったところがあったのでこの機会に残しておきます elasticsearchへの転送 dstatはすでにあるし、あとはcopyしてelasticsearchに流すだけだし余裕っしょ♪ とか思っていたら見事にはまりました。 送ったログをいざグラフ化しようとしても何も選択肢が無いｗ レスポンスコードとか、レスポンスタイムとか数値として扱うべきメニューが出てこない elasticsearch-headプラグインで型を確かめると全部stringになってる！！！！！ elasticsearch側でデフォルトテンプレートを用意してあげる方法もあるようですが、fluentd側で定義してあげればelasticsearchでは空気読んでくれるようなので今回は
elasticsearch での Kuromoji の使い方 - akishin999の日記
前回インストールした elasticsearch で日本語形態素解析器 Kuromoji を使ってみます。 環境は CentOS 6.3、elasticsearch 0.20.5 です。 elasticsearch はプラグインで機能を拡張できるようです。 利用可能なプラグインは公式サイトの以下のページにまとめられていました。 elasticsearch - guide - Plugins http://www.elasticsearch.org/guide/reference/modules/plugins.html 今回は Kuromoji を使うため、上記ページの「Analysis Plugins」内にあった「Japanese (Kuromoji) Analysis plugin (by elasticsearch team)」を入れてみました。 elasticsearch/elas
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
5分あれば出来る、Muninでelasticsearch 1.xのリソース監視を行う方法 - Y-Ken Studio
JVMで動くelasticsearchを安定運用させるにはリソース監視も欠かせません。 今回は手軽なリソース監視が出来るMuninを用いて、インストール方法から作られるグラフサンプルの紹介まで行います。 利用プラグイン elasticsearch 1.x系で動くプラグインは現状これ1つのみです。Perlで書かれているため外部依存無しで動きます。 y-ken/munin-plugin-elasticsearch A useful Munin plugin for monitoring elasticsearch 1.x nodes in Perl. https://github.com/y-ken/munin-plugin-elasticsearch 次のプラグインが同封されています。 elasticsearch_cache - フィールドとフィルタのキャッシュ状況 elasticsearc
elasticsearchのファイルディスクリプタを監視する - Y-Ken Studio
elasticsearchはLuceneをベースにしているため、細かい粒度でのファイルを多く生成します。 そのため "too many open files" エラーが発生して停止しないよう、安定稼働のためには日頃のリソース監視が必要です。 では、どのようにファイルディスクリプタの利用状況を確認すれば良いのでしょうか。調べてみました。 検証環境 複数のバージョンでテストしております。 elasticsearch 1.0.1 elasticsearch 1.3.4 elasticsearch 1.4.2 調査の目的 root権限が必要な/proc/{proc_id}/limitsなどを参照せずに次の値を取得する方法。 max_file_descriptors open_file_descriptors 同時に開ける最大のファイル数（Max open files）の確認 elasticsear
Elasticsearchのクラスタにノードを追加するときにやっていること - すずけんメモ
Elasticsearchのクラスタにノードを追加するのは簡単にできる。しかし、インデックスを盛々積んだクラスタにノードをカジュアルに追加すると、一気にシャードのアロケーションが走って負荷があがる。また、何の設定もせずに追加するとsplit brainを起こしやすくなる。適切に設定すれば大丈夫なので、それをまとめておく。 結論 安全にやるなら、 ノード追加前に全shardの移動を止める。 split brainを避けるために、最小のマスターノード数を設定しておく。 ということをしておくとよい。 クラスタ設定はリアルタイムに変更できるので活用しよう。 Cluster Update Settings http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/cluster-update-settings.html
ElasticSearch勉強会 第6回
「Azure は生まれた時からPaaSでした。そして、PaaSという言葉から、開発プラットフォームとしての お得意の話をしたいところですが、そういう アプリ開発のPaaS機能 としての側面はだいぶ語りつくされてきてますので、今回はあえて、データベースストアとしての PaaS機能に絞ってお話させていただきます。」 #勉強会 #paasjp #PaaS勉強会 勉強会サイト https://paas.connpass.com/ イベントの実況まとめtg https://togetter.com/li/1128578?page=2
ElasticSearch/td-agentのセットアップと連携サンプル(Centos6.5) - Qiita
Intro 仕事でES/td-agentを触ることが多くなりローカルマシンでも テスト環境が必要になったのでその構築メモになります。(Vagrant上のCentOS6.5) ローカルApacheのログをサンプルにtd-agentとESの連携もしてみます。 環境 Centos6.5(Vagrant on Mac) ElasticSearch 1.3.6 td-agent 0.10.55 前提 VMはまっさらの状態です。 rootで作業してます。 手順めも 1.Developer Toolのインストール あとでfluentのplugin入れるときに困るので入れておきます。 gccとかその他たくさん入ります。
Nodes | Elasticsearch Guide [8.14] | Elastic
Any time that you start an instance of Elasticsearch, you are starting a node. A collection of connected nodes is called a cluster. If you are running a single node of Elasticsearch, then you have a cluster of one node. Every node in the cluster can handle HTTP and transport traffic by default. The transport layer is used exclusively for communication between nodes; the HTTP layer is used by REST
![Nodes | Elasticsearch Guide [8.14] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
Elasticsearch のクラスタメモ | iret.media
ども、cloudpack の かっぱ（@inokara）です。 はじめに Elasticsearch のクラスタ化って実はあまりやったことが無くて復習を兼ねてザクッと触ってみました。 データノードとマスタノード うんちく データを保持するだけのノード（データノード）を構築することが出来る 対してデータを保持せずにクラスタ管理と検索のリクエストを受け付ける処理だけを行うノード（マスタノード）を構築出来る 以下のような感じ マスタノード elasticsearch.yml の以下の項目を修正します。 cluster.name: hoge01 node.name: "search01" node.master: true node.data: false データノード 一台目。 elasticsearch.yml の以下の項目を修正します。 cluster.name: hoge node.nam
ElasticSearchの運用とか (2) - なんかかきたい
割と遊びのつもりで書き始めたら意外と注目が集まってしまって遊びじゃない感じになってきましたが、前回の続きでelasticsearchの運用情報を書いていきます。 @johtani さんにTwitterでElasticSearchのアップグレード情報などを色々と教えていただいたので、また後日検証してまとめてみようと思います。ありがとうございました。 今回は設定周りの情報になります。 そういえば後から見直すことを考えるとどの投稿にどういう情報が乗っているか探すのが大変になりそうだから、索引を作る必要がある気がする。そのうち考えるかも。 JVMのバージョンについて java7を使う場合、特定のバージョンでindexが壊れる問題がLuceneで発生するので避ける必要がある。 Apache Lucene - Welcome to Apache Lucene 具体的にはjava7u25以下またはjav
ElasticSearchの運用とか (1) - なんかかきたい
最近のお仕事的なことですが、ElasticSearchの構築・運用を任されるようになりました。 まかされるというか、実際にはいい感じに全文検索ができる仕組みを作って欲しいといういつもの依頼だったんだけども、全く運用の経験の無いプロダクトだったので色々わからないことだらけ。 最近はKibanaと組み合わせて言い感じのグラフを作るのがWeb屋さんの間で流行っているイメージですが、Kibanaを除いたElasticSearchの細かなところに踏み込んだ情報はあまりない感じで（多分感心があまりないのかも）、結局マニュアルを色々読んでわからないところを補完していった感じです。 同じようにElasticSearchを使って検索機能を作っていきたいような人の参考になればいいなー程度にまとめて行こうと思います。そのうち自分でも見直すことになるだろうし。 一応手元にmarkdownでまとめたものもあるんだけ
elasticsearchのGUI「elasticsearch-head」がとても便利 - yuhei.kagaya
elasticsearchは、登録・検索・削除・管理など操作をJSONのHTTPリクエストで行います。 その使い方は単純で簡単なのですが、JSONを書くのがめんどうだったりします。 elasticsearch-headが便利 ElasticSearch Headは、ブラウザで動くelasticsearchのGUIです。 テーブルのように中身を表示できたり、検索クエリの作成や結果JSONの表示をマウスで操作できたりできて便利です。 ※キャプチャは本家サイトより インストール elasticsearchがインストールしてあれば、プラグインコマンド一発でインストールできます。 /usr/local/elasticsearch-0.90.2/bin/plugin -install mobz/elasticsearch-head ブラウザでアクセス http://localhost.jp:9200/
ElasticSearch インデックス一覧・マッピング一覧・マッピング設定 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
elasticsearch-curatorを使って簡単に時系列インデックスを運用する - Qiita
※curatorを新しい環境にインストールしたらコマンドラインがだいぶ変わってたので更新 試した環境は、[curator, version 3.0.3] 気付いた変更点サマリ CentOS6.5でcuratorコマンドが動くようになった --show-indicesがindices deleteとかの削除日数指定する--older-thanを使うにあたり必須のオプションが出来た ※ない場合は、curator側で丁寧にこれ足りないとエラー出力してくれるからあまりはまらないとは思うが。。 概要 fluentd経由でElasticsearchにlogstash形式のインデックス使って、kibanaで可視化っていう流れでたまにAPI経由でインデックスを消しながら運用してたけど、そろそろ自動でインデックス運用しないといけないと思った。 twitterで @johtani さんにelasticsear
curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita
2015/3/15 curator v3.0 から、コマンドオプションが変わったので改定しました。 正確には v2.0 から変わってましたけど。 Kibana でダッシュボード作っていると、基本的に日時でインデックスファイルができて、ある程度溜まってくると、 elasticsearch が悲鳴をあげます（CPU的にも、メモリ的にも） ディスク容量が枯渇します ということで無限にサーバリソースが確保できない場合、Kibana の運用では定期的にインデックスファイルを削除する必要がでてきます。 この Index の削除を便利にしてくれるツールが curator です。 事前準備 Python と pip が必要なので、入れておきましょう。 $ sudo apt-get install python $ cd /tmp $ wget https://raw.github.com/pypa/pip
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Important Configuration Changes | Elasticsearch: The Definitive Guide [2.x] | Elastic
niconicoの検索を支えるElasticsearch // Speaker Deck