fluentdとDockerとBigQueryで1時間でビッグデータ解析基盤を作る - Qiita

最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログなどに応用することももちろん可能です。コードは一行も書きません。解析基盤をつくためにマシンを用意する必要はもちろんありません。 BigQueryについては、 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja が参考になります。 利用するプロダクト/サービス Google Cloud Platform Google Compute Engine BigQuery Docker fluentd fluent-plugin-twitter fluent-plugin-bigquery Twitter Streamping API 想

[nekoruri]

もうちとだけ項目増やして動かしはじめてみた。すごい簡単

[kgrock]

fluentdとDockerとBigQueryで1時間でビッグデータ解析基盤を作る

[YuichiTanaka]

うーむ、素晴らしい

[kasumani]

fluentdとDockerとBigQueryで1時間でビッグデータ解析基盤を作る 最近話題のDockerやGoogle Cloud Platformを用いて大規模データのための解析基盤を作ります。今回はデータソースとしてTwitter Streaming APIを利用しますが、アクセスログな