Lobiのログ集約・解析のはなし - KAYAC engineers' blog
Lobiチームの長田です。 あらゆるWebサービスがそうであるように、Lobiでも日々大量のログが出力されています。 今回はこのログをどのように集約・解析しているかを紹介します。 TL;DR アクセスログ・アプリログなど、毎秒10000行以上のログが生成されている Fluentdを使用しログを集約 consul serviceを利用した集約サーバーの冗長化 ログ中のイベント検知・集約にはNorikraを使用 アクセスログの各種解析にはAmazon Redshiftを利用 ログの集約 ログ収集エージェント Lobiではログの集約にFluentdを利用しています。 Fluentd | Open Source Data Collector | Unified Logging Layer ログファイルの集約にはfluent-agent-hydraを、Perlアプリケーション内からのログ送信にはFl
Hadoop→Redshift→その先は？――IoT／ハイブリッド時代の最新トレンドを整理する
Hadoop→Redshift→その先は？――IoT／ハイブリッド時代の最新トレンドを整理する：“仕事で本当に使える”クラウドデータベースの要件 （1/2 ページ） 人間や機械の活動をデータとして取り込むIoTの出現で、クラウド上の「データベースサービス」をエンタープライズでも利用する場面が増えてきた。データベースとクラウドの関係、データ活用のリアルを、ITジャーナリスト 谷川耕一氏の視点でひも解く。 「クラウドデータベース」「ビッグデータ」は使えないバズワードだったのか システム開発・運用の別を問わず、「クラウドファースト」という言葉が定着しつつある。 とはいうものの、まだクラウド化が積極的に行われていないのがデータベースの領域だろう。データベースに求められるのはパフォーマンスやデータの厳密な管理、信頼性の確保である。一方、多くの場合でクラウドに求められるのは、仮想化や統合・集約、システ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NTTドコモ、統合分析基盤にAWSのAmazon Redshiftを活用
