ログ集計システムを自前で作る - Y's note
Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか？ 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go
第2回elasticsearch勉強会を開催しました！ #elasticsearchjp
第2回を開催しました！ すごい、140人くらいくらいの参加登録者（参加者は１００人ちょっと！）がいて、びっくりです。 ステキな会場を提供していただいた、リクルートテクノロジーズさん、運営していただいた方々、スピーカーの皆さん、参加者の皆さん本当にありがとうございました。 今回も素敵な看板ありがとうございます。 今回もしっかり楽しめたので、次回も頑張ります！ 今回は、elasticsearch-jpMLの紹介とかをできたのでよかったかなぁと。 ぜひ、活用してください！どんな質問でもいいので。 あと、スライドに入ってた例の本もよろしくです。 ということで、懇親会も盛り上がったし楽しかったです。 今後も場の提供＋自分の勉強のトリガーとして、開催していくので、ご協力お願いします！ 聞きたい話など、MLや@ツイートしていただければと。 elasticsearchのRouting機能：株式会社シーマー
SIOS ビッグデータ技術ブログ: アクセスログをTreasure Dataに送ってみよう
SSTDの大村です。GWのど真ん中ですが、いかがお過ごしですか？後半の４日間は子供でも連れてどこかに出かけたいなと思っています。ゴリラにはまっている娘のためにゴリラがいる動物園に行こうか、息子のために遊園地に行こうか、両方は体力とお財布が。。と思案中です。結局、近所の公園でサッカーとかして終わらせたい。。。と全国の親御さんたちと同じ気持ちです。 さて、みなさんfluentdってご存知ですか？トレジャーデータ社の古橋さんが作られたOSSのログ収集ツールです。詳しくは古橋さんのブログをご覧ください。このfluentdですが、多くの方に愛されて成長し続けています。今回はfluentdでWebのアクセスログを移動し、Treasure Dataにアップロードする方法のご紹介をさせていただきます。 fluentdでアクセスログを集めよう インストール では、fluentdをインストールしてみましょう！
fluentdの簡単な使い方、設定方法一覧
fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの？ バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は？ 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの？ 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で
Kibana + ElasticSearch + fluentd を試してみた
こんにちは。@jedipunkz です。 自動化の流れを検討する中でログ解析も忘れてはいけないということで ElasticSearch を使いたいなぁとぼんやり考えていて Logstash とか Kibana とかいうキーワードも目 に止まるようになってきました。 ElasticSaerch は API で情報を検索出来たりするので自動化にもってこい。バックエ ンドに Logstash を使って… と思ってたのですが最近よく聞くようになった fluentd をそろそろ真面目に使いたい！ということで、今回は Kibana + ElasticSearch + fluentd の組み合わせでログ解析システムを組む方法をメモしておきます。 参考にさせて頂いた URL http://memocra.blogspot.jp/2013/04/kibanakibanaelasticsearchfluent
Kibana3 + elasticsearch + fluentd を試した
こんにちは。@jedipunkz です。 {% img /pix/kibana3.png %} 前回の記事で Kibana + elasticsearch + fluentd を試しましたが、ツイッターで @nora96o さんに “Kibana3 使うと、幸せになれますよ！” と教えてもらいました。早 速試してみましたので、メモしておきます。 前回の記事。 http://jedipunkz.github.io/blog/2013/09/07/kibana-plus-elasticsearch-plus-fluentd/ 前半の手順は前回と同様ですが、念のため書いておきます。 前提の環境 OS : Ubuntu 12.04 Precise (同じ方法で 13.04 Raring でも出来ました) 必要なパッケージのインストール 下記のパッケージを事前にインストールします。 手順を省くために
fluentdで遊んでみる - 不完全な死体
どうも。 ハシモトです。 掲題の通り、fluentdで遊んでみようかと思います。 対象のログは自前運用のapacheログとmaillogです。 ログ出力サーバーの設定 まずyumのリポジトリを追加します。 $ vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 次にインストールをします。 $ sudo yum -y install td-agent あっさりと終ります。 ログ解析サーバーへfluentdをインストール rubyの1.9.2以上が必要なようですが、サーバーにインストール済でしたので、ここは割愛します。 gemでfluentdをインストールします。 $ gem insta
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
Fluentd vs Logstash ·
Blog Projects Jason Wilder's Blog Software developer and architect interested in scalability, performance and distributed systems. Fluentd vs Logstash Nov 19, 2013 · 6 minute read · Comments logging realtime fluentd logstash architecture Fluentd and Logstash are two open-source projects that focus on the problem of centralized logging. Both projects address the collection and transport aspect of c
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
GrowthForecast - Lightning fast Graphing / Visualization
GrowthForecast is a web tool that let's you graph all sorts of metrics via a WebAPI. Our simple API let's you create and update charts in real time, customize your charts through a Web interface, and create charts that combine multiple metrics. You can graph your MySQL data with 1 line of code $ crontab -l */5 * * * * curl -F number=`mysql -BN -e 'select count(*) from member' game` http://example.
ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio
ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、 私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。 以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。 テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたい ログ収集ツールFluentdを使ってリアルタイム集計などを行いたい 落とし穴 その１「request_first_line」 一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT
「なんだかいつもと違う」を fluentd を使って検知する – 異常値検出 –
インフラ・システム運用を担当している平野です。 今回は「なんだかいつもと違う」をシステム監視で検知したいと思います。 通常のシステム監視では、監視項目に対して閾値を設け、 その閾値を外れたら異常値として検知する仕組みを導入します。 が、単純な閾値では片付けたくない監視項目もあります。 例えば、アクセス数なんかは平常時においても日中帯・夜間帯で伸び率が違い、 低い閾値設定すれば大量にアラートがあがりますし、高い閾値設定にすれば ちょっとした負荷ではアラート検知できません。 これらを解決するには、時間帯別に監視閾値を変更するなど、運用方法で考慮をいれると思いますが、 今回は「fluent-plugin-anomalydetect（異常値検出プラグイン）」を利用して 「なんだかいつもと違う」を検知したいと思います。 ◇監視内容 監視対象は当社のとあるサービスのApacheのアクセス数（PV）とし
統合ログ管理基盤としてのFluentdを試してみました。
先日、朝ご飯を家で食べてきたにも関わらず、通勤途中の駅のカレー屋さんの匂いに誘惑され、 朝カレーしました！周りのメンバーにはこの幸せがまったく響かなかったのが残念です。 アライドアーキテクツの唯一のインフラ基盤エンジニアの平野です。 「からあげ朝カレー」というメニューでした。 さて今回のお題は、インフラ界隈で盛り上がりを見せているFluentdという技術についてです。 私ももれなくこの技術に注目し、先日もFluentd Meetup in Japan #2 に参加させていただいたり、 自社のシステム合宿で、周りのメンバーが粛々とプログラムをしている横でFluentdをいじり倒してました。 ◇背景 昨今ビッグデータ、ビッグデータと注目され、Webサービスにおけるユーザの行動解析、 即時性のあるマーケティングデータの抽出要望がシステムに課せられます。 NoSQLと呼ばれる大量データを分散処理に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OSS編～Fluented & Elasticsearch & Kibanaパート①～
『Big Data入門に見せかけたFluentd入門』へのコメント
http://blog.inouetakuya.info/entry/20130216/1361015295
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html
fluentd を使った大規模ウェブサービスのロギング - 2nd life (移転しました)