ログ集計システムを自前で作る - Y's note
Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか？ 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go
NewRelic,Kibana & Facebookアプリ 勉強会 （AWDD #5）に参加しました - webhacker's news
12月26日に最近上場したアライドアーキテクツさんが主催している NewRelic,Kibana & Facebookアプリ 勉強会 （AWDD #5）に参加しました。 １．「３０分クッキング～PHPで簡単に作れるFacebookアプリケーション～」 ちょっと遅れてしまいましたが、途中から参加しても非常にわかりやすかったです。 主にPHPを利用して、Facebookアプリをどう作るかという内容でした。 「リア充診断」というアプリを作った時の実際の手順にならって、 説明をしてくれたので、Facebookアプリを作るときのイメージがつきました。 できれば、ドキュメントとして手元に残るものがあると嬉しいかなと。 実際のスライドの写真はこちらです。 2 ．「NewRelic,Kibanaを使ったデータの活用と運用ノウハウ（Soicla-IN運用事例大公開）」 こちらが僕が今回の勉強会に参加したメイ
Kibana + ElasticSearch + fluentd を試してみた
こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って… と思ってたのですが最近よく聞くようになった fluentd をそろそろ真面目に使いたい！ということで、今回は Kibana + ElasticSearch + fluentd の組み合わせでログ解析システムを組む方法をメモしておきます。 参考にさせて頂いた URL http://memocra.blogspot.jp/2013/04/kibanakibanaelasticsearchfluent
Kibana3 + elasticsearch + fluentd を試した
こんにちは。@jedipunkz です。 {% img /pix/kibana3.png %} 前回の記事で Kibana + elasticsearch + fluentd を試しましたが、ツイッターで @nora96o さんに “Kibana3 使うと、幸せになれますよ！” と教えてもらいました。早 速試してみましたので、メモしておきます。 前回の記事。 http://jedipunkz.github.io/blog/2013/09/07/kibana-plus-elasticsearch-plus-fluentd/ 前半の手順は前回と同様ですが、念のため書いておきます。 前提の環境 OS : Ubuntu 12.04 Precise (同じ方法で 13.04 Raring でも出来ました) 必要なパッケージのインストール 下記のパッケージを事前にインストールします。 手順を省くために
12月26日に勉強会（AWDD #5）を開催します
17日→26日に変更になりました。お間違えのないようお気を付け下さい。 こんにちは。 12月26日に5回目の勉強会＆交流会を弊社で開催します。 今回は２つのセッションを行います。 １つ目は「３０分クッキング～PHPで簡単に作れるFacebookアプリケーション～」と題したセッションを行います。 第5回にして初のFacebookアプリの入門的なセッションとなります。 非エンジニアにもわかりやすい内容を目指します。 また、言語はPHPを用いて、Facebookアプリの登録から実際にアプリが動くところまでをお見せします。 PHPに興味のある方や、エンジニアに興味のある方も見て面白いセッションにする予定です。 ２つ目は「NewRelic,Kibanaを使ったデータの活用と運用ノウハウ（Soicla-IN運用事例大公開）」と題したセッションを行います。 実際に弊社サービス「Social-IN」を事例
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OSS編～Fluented & Elasticsearch & Kibanaパート①～
