fluentd から Amazon Redshift へのデータ投入 - 技術ノート
2013-08-25 fluentd から Amazon Redshift へのデータ投入 試験的に fluentd → Amazon Redshift の流れを作ってみたので、まとめてみます。 全体の流れ fluentd から Redshift にログを送るプラグインとして fluent-plugin-redshift があるようだけど、そちらは使わずに自作する。 基本的な戦略として、 fluentd から S3 へのアップロード S3 から Redshift へのデータロード の二つのステップを分けて考える。S3 へのアップロードは一日一回、Redshift へのロードは週に一回くらいを想定。 データ構造 ログファイルは Redshift 指定の書式に従い、次のようなものを生成する。 2013-08-24 20:01:00|user1|12 2013-08-24 20:01:01|us
Tableau から Amazon Redshift につないでみた - 技術ノート
2013-08-22 Tableau から Amazon Redshift につないでみた Amazon Redshift は触ってないといけなさそうなご時世なので、かるく試してみた。 参考にしたページ: Amazon Redshiftではじめるビッグデータ処理入門 Amazon RedshiftとTableauによるビッグデータ分析 〜 Tableau Desktopを使ってみた 〜 ちょっと試すだけなら、あまりに簡単でびっくり。 公式のチュートリアルにある例をTableauで再現してみた。 Find total sales on a given calendar date. SELECT sum(qtysold) FROM sales, date WHERE sales.dateid = date.dateid AND caldate = '2008-01-05'; 一日だけ表示しても
fluentd 自身のログを Splunk で監視する - 技術ノート
2013-08-21 fluentd 自身のログを Splunk で監視する アプリケーションログの集約には fluentd を使えるが、fluentd 自身のログファイルを fluentd で送るわけにもいかないので、別系統で監視したい。 Splunk を使ってログをチェックするダッシュボードを作成したのでまとめておきます。 モニタリング設定 まず、各ホストの Splunk Universal Forwarder にログファイルを登録。 $ sudo /opt/splunkforwarder/bin/splunk add monitor \ /var/log/td-agent/td-agent.log -sourcetype td-agent # または /opt/splunkforwarder/etc/apps/search/local/inputs.conf を編集 これで全ホスト
fluentd で集めたログを Tableau で可視化する（したい） - 技術ノート
2013-08-20 fluentd で集めたログを Tableau で可視化する（したい） 前回の続き。 Tableau とは？ Splunk はどちらかと言うとエンジニア向きのツールで、システムを熟知した人間が、さくっとクエリを書いてログを調べるのに向いている。ダッシュボードを作成すれば、誰でも集計結果を見ることが出来るようにはなるが、誰でもダッシュボードを作れるわけではないので、ほとんどの人は誰かが作ったダッシュボードを見ることしか出来ない。 Tableau は「Excel ユーザなら誰でも使える」とされる BI ツールで、ユーザにとっての敷居はもう少し低い。分析用のデータさえ整備されていれば、あとは Excel でピボットテーブルを作る感覚で、ドラッグアンドドロップで様々な視点からデータ分析を行える。 詳しくは公式のビデオでも。 Tableau-Online_JP - YouTub
fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
