ログ集計システムを自前で作る - Y's note
Index ログ集計システムの要件 DB設計 データ保存方針 table設計 サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する 集計用のバッチ その他 Table肥大化防止 可視化 ログ集計システムの要件 爆弾ログ処理班の@yutakikuchi_です。 ログ集計システムというものを作る時に皆さんはどのように対応していますか？ 以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。 ツール 導入難易度 正確性 可視化 リアルタイム 長期集計 スケール 運用費用 リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go
Amazon LinuxからTreasure Dataを使ってみる | DevelopersIO
Fluentdが良さげなのでTreasure Dataも使ってみる Treasure Dataは、Big Data as a Serviceを提供しています。あらゆるログを転送する仕組みがFluentdでしたが、Treasure Dataは生成され転送されるログを溜め込んで価値ある情報として加工して提供しましょうと感じです。ある程度までは無料で使えるようですので早速使ってみましょう。 アカウントを作成する クラウド型のサービスを利用しますのでアカウントを取得しましょう。 セットアップする いつもの流れということで、まずはAmazon Linuxを立ち上げてください。そして以下のコマンドへと続きます。 コマンド１発でインストールが終わりそうな感じですが、Amazon Linuxに足りないものを入れておきましょう。 $ sudo yum update -y $ sudo yum install
Fluentd meetup in Fukuokaを開催しました
Fluentd meetup in Fukuokaを開催して、LTして来ました！ Zusaarイベントページはこちら Fluentd meetup in Fukuoka 開催のきっかけは@repeatedlyさんの、このツイート。 これに反応したのが、僕と@Spring_MTさんでした。 お二人の旅費を出して頂いたTreasure Data様。 会場をご提供頂いたOnRAMP様。 トークして頂いた@repeatedlyさん、@tagomorisさん、@Spring_MTさん。 LTして頂いた@snakemanさん。 会場やお店の手配などご協力頂いた@osacaz4さん、@kisさん。 そして、ご参加頂いた皆さん。 沢山の方々のご協力により、素晴らしいイベントにする事が出来ました。 本当にありがとうございました！！ ぜひまたやりたいですねー。 最後に発表頂いた方のスライドです。 @repea
【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Y's note
[:W560] Log集計用DB設計 考える問題 Document無しのAgile開発をガチで推奨したい@yutakikuchi_です。【進撃の巨大データ】の第2回目として巨大アクセスLog集計用DBの設計について勉強した内容についてメモしたいと思います。DB周りはそこまで詳しく無いので詳しい皆様からの突っ込み大歓迎でございます。また図々しいですが知恵をください(笑)。 今日の主目的は下の2要件を叶えるためのDB設計を考える事です。特に問題になるのがRealTimeの話でTableにLogDataを書き込む処理と集計のSQLをどのように組み立てるか、それ以外にもSystemPerformanceとArchitectureにも関わってきます。 リアルタイムで大量データを集計したい 定期処理で大量データを集計したい 使うもの Fluentd : Fluentd: Open Source Log
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent + mongodb + node.js でwebアクセスの準リアルタイム解析 | Day After Neet
