Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita
2015/3/15 curator v3.0 から、コマンドオプションが変わったので改定しました。 正確には v2.0 から変わってましたけど。 Kibana でダッシュボード作っていると、基本的に日時でインデックスファイルができて、ある程度溜まってくると、 elasticsearch が悲鳴をあげます（CPU的にも、メモリ的にも） ディスク容量が枯渇します ということで無限にサーバリソースが確保できない場合、Kibana の運用では定期的にインデックスファイルを削除する必要がでてきます。 この Index の削除を便利にしてくれるツールが curator です。 事前準備 Python と pip が必要なので、入れておきましょう。 $ sudo apt-get install python $ cd /tmp $ wget https://raw.github.com/pypa/pip
ELBのアクセスログをfluent-plugin-elb-logを使ってkibanaで表示する | DevelopersIO
はじめに 先日お伝えしました通り、ELBのアクセスログが取得出来るようになったのですが、すぐさまfluent-plugin-elb-logというfluentプラグインがリリースされました。さすがfluentd界隈、対応が早いです。 ということで、今回はELBのアクセスログをfluentd経由でElasticsearchに取り込み、それをKibanaで表示したいと思います！ セットアップ Elasticsearch Elasticsearchは最新のrpmパッケージを更新サイトから取得し、rpmコマンドでインストールします。 $ wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.0.noarch.rpm $ sudo rpm -ivh ./elasticsearch-1.
Heroku アプリのログを fluentd で ElasticSearch に突っ込んで Kibana で監視する方法 - hakobera's blog
目的 Kibana で Heroku アプリのログを可視化したい。ただし、レスポンスタイムとかは New Relic でも見れるので、ここではアプリが出力したらログを可視化する方法を紹介する。 また、今回、アプリからの出力を可能な限りに簡単にするために、アプリからは Heroku の STDOUT に出力するだけで、ログを Kibana サーバに送信できるようにしてみた。 具体的にはこう。（Ruby の場合） 出力の形式は、Treasure Data addon の方法 を真似ている。 puts "@[tag.name] #{{'uid'=>123}.to_json}" これで、tag.name が fluentd の tag 名に、それに続く JSON 文字列が送信するデータとして処理される。 環境 Amazon EC2 上に Kibana サーバを構築 OS は Ubuntu 13.1
Elasticsearchのhead plugin - ほわいとぼーど
Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。 logstash形式にはしたばっかりでまだデータ溜まってないので、 自力でlogstash形式になるようにログの日付と同じindexを作って入れて Kibana3でlogstash形式で見てみましたが普通に動きました。 日付も@timestampではなくログから入れたrequest_time指定で問題なく。 ※このrequest_timeとかいう名前付けが紛らわしいかもしれないことを 今更ながら気づきましたが今の所は勘弁してやってください。 Apache2ログにおける日付の部分を抽出したもののことです。 きっとFluentd設定を説明する回があったらこの話もするはず
第1回ElasticSearch勉強会を開催しました！ #elasticsearchjp
ElasticSearch勉強会 第1回を主催しました。 昨年のpyfesでなんちゃって資料で喋って、1年たちました。 ElasticSearchの書籍（英語）も出てきて、今年はElasticSearchが面白くなりそうだし、使ってる人たちから話も聞きたいなぁということで、主催しました。 思った以上に興味のある方がいらっしゃったようで、100人応募のところ、チケットがすぐ完売してしまうほど。。。 しかも、当日もほぼ満員ということで、大変な盛況ぶりでした。 スピーカーの皆様、参加された皆様、会場を提供していただいたリクルートテクノロジーズさん、ありがとうございました！（たぶん、90人くらいいらっしゃってたかと。） こんなステキな案内板も用意してもらいました。スタッフのみなさんありがとうございます！ トゥギャっても頂きました。まとめていただいてありがとうございます！ 自分の発表や個々の発表に関
第2回 Elasticsearch 勉強会参加レポート
こんにちは。@jedipunkz です。 第2回 Elasticsearch 勉強会に参加してきました。箇条書きですが参加レポートを記し ておきます。 開催日 : 2013/11/12 場所 : 東京駅 グラントウキョウサウスタワー リクルートテクノロジーズさま URL : http://elasticsearch.doorkeeper.jp/events/6532 Index 構成 cluster の中に index -> type が作成される index は shard という部分的な index の集まり shard 数は生成時のみ指定可能 node ごとに replica, primary を別ける replica 数は後に変えられる doc -> hash 値を shard 数で割って replica, primary に登録 doc の id の ハッシュ値を利用 type
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
