fluentdとDockerとBigQueryで1時間でビッグデータ解析基盤を作る - Qiita
最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想
dockerなら5分で動く！ nginxのログをfluentdで集めてnorikraでストリーム分析 - Qiita
はじめに ようへいさんのポストを参考にしてdocker上でnginxとfluentdとnorikraを動かせたので、docker indexにイメージを掲載した。dockerのある環境ならあっという間に動くはず。 準備 dockerが動くこと ホスト側でfluentd用のファイルディスクリプタ設定を済ませていること 手順 norikraを動かす まずはログの集約先となるnorikraを動かす。 $ sudo docker run -p 26578:26578 -p 26571:26571 -p 24224:24224 -p 24224:24224/udp -d kazunori279/fluentd-norikra-server $ sudo docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 7874efdd2e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
