BigQueryことはじめ。あとBigQueryについて料金とか運用とか調査 - Qiita

まだ入門もしてないので「ことはじめ」じゃないです。 大体触ってみたのを載せます。 Wikipedia 集計 サンプルデータのwikipediaを集計してみました。 データは3億行ほどあり、サイズは36GBほどあります。 今回は、contributor_usernameを集計し、wikipediaに貢献している人ランキングをつくりました。 上位陣はbotさん達ですね。 結果としては、3億行のデータを、 何も考えずに書いて 16.2秒で集計することが出来ました。 3億行を16秒。 countしなければ3秒くらいで終わります。 MapReduceみたいなのを一切書いてないのにこの速度。 ちなみにテーブルはインデックスしているわけではなく毎回フルスキャンしているらしい。 わお。 データ保管: \$0.026/GB/mo クエリ: $5/TB (スキャンしたデータのサイズで課金) 今回のwikipe

[myfinder]

“fluentdでS3に投げてhogehoge…とか面倒なので、BigQueryに直接fluentdでぶち込みましょう”

[tagomoris]

“fluentdでS3に投げてhogehoge…とか面倒なので、BigQueryに直接fluentdでぶち込みましょう”

[yass]

" RedShiftとか色々考えるよりよっぽど安くて楽でいいです。 fluentdでS3に投げてhogehoge…とか面倒なので、BigQueryに直接fluentdでぶち込みましょう。これで快適ログ生活です。"

[kasumani]

BigQueryことはじめ まだ入門もしてないので「ことはじめ」じゃないです。 大体触ってみたのを載せます。 サンプルデータのwikipediaを集計してみました。 データは3億行ほどあり、サイズは36GBほどあります。 Tags: ifttt, kasumani