fluentd から Amazon Redshift へのデータ投入 - 技術ノート
2013-08-25 fluentd から Amazon Redshift へのデータ投入 試験的に fluentd → Amazon Redshift の流れを作ってみたので、まとめてみます。 全体の流れ fluentd から Redshift にログを送るプラグインとして fluent-plugin-redshift があるようだけど、そちらは使わずに自作する。 基本的な戦略として、 fluentd から S3 へのアップロード S3 から Redshift へのデータロード の二つのステップを分けて考える。S3 へのアップロードは一日一回、Redshift へのロードは週に一回くらいを想定。 データ構造 ログファイルは Redshift 指定の書式に従い、次のようなものを生成する。 2013-08-24 20:01:00|user1|12 2013-08-24 20:01:01|us
fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
