【進撃の巨大データ】Log集計用DBとシステム構成の美しい設計を考える - Y's note
[:W560] Log集計用DB設計 考える問題 Document無しのAgile開発をガチで推奨したい@yutakikuchi_です。【進撃の巨大データ】の第2回目として巨大アクセスLog集計用DBの設計について勉強した内容についてメモしたいと思います。DB周りはそこまで詳しく無いので詳しい皆様からの突っ込み大歓迎でございます。また図々しいですが知恵をください(笑)。 今日の主目的は下の2要件を叶えるためのDB設計を考える事です。特に問題になるのがRealTimeの話でTableにLogDataを書き込む処理と集計のSQLをどのように組み立てるか、それ以外にもSystemPerformanceとArchitectureにも関わってきます。 リアルタイムで大量データを集計したい 定期処理で大量データを集計したい 使うもの Fluentd : Fluentd: Open Source Log
CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Y's note
ハイパフォーマンスHTTPサーバ Nginx入門 作者: Clement Nedelcu,長尾高弘出版社/メーカー: アスキー・メディアワークス発売日: 2011/04/21メディア: 大型本購入: 2人 クリック: 714回この商品を含むブログ (23件) を見る このエントリーで試したいこと Nginxのログをfluentdを使ってMongoDBに格納することをリアルタイムで行うことを試してみたいと思います。参考にしたサイトは以下のものです。 fluentd Fluentdのドキュメントへようこそ ― fluentd 0.10 documentation Fluentdで始めるリアルタイムでのログ有効活用 （1/4）：CodeZine Introduction of ‘fluentd’ « NAVER Engineers' Blog fluentd を利用した大規模ウェブサービスのロギ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
