BigQueryで150万円溶かした人の顔 - Qiita

※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使

[izumin5210]

ミイちゃんヤバイよ，これ相当テーブルスキャンしてるよ…！

[vanbraam]

金額で上限設定できないのは課金システム的には残念な造りだと思う.売る側はその方が嬉しいんだろうけど

[W53SA]

青天井で課金するサービスには近づいちゃダメってガラケーのパケット課金でみんな学んだはずなのに

[taro-maru]

whereやlimitで料金が節約出ると思ってる人は多いはず。

[ono_matope]

"WEHRE句には何を書いてもテーブルをフルスキャンしてしまう" まさにBigQuery...

[minoru0707]

従量課金こわい。。

[Hiro0138]

パケ死の恐怖を体験出来る、そうクラウドサービスなら

[androidzaurus]

アフターカーニバル。

[ichiro2015]

リスク大きすぎて絶対使わないわ

[otchy210]

クエリ課金怖いな。パワー固定の時間課金なら、あれ？この実行時間おかしい？とかで強制終了も出来ようが。スーパーパワーで超クエリを短時間で終わらせられる事に、こんな落とし穴があるとは。

[shifumin]

"LIMITやWHERE句には何を書いてもテーブルをフルスキャンしてしまう" ほう……。

[kai_kou]

Dry runわすれない！

[iga_k]

注意点は、テーブルは日付ごとに分けること、でかい容量のテーブル作らないこと、全テーブルなめないこと、あたりか

[jumperson]

BigQueryはデータの取得に対して比較的大きな料金が発生するので気をつけようという話。それを回避する設計もあるので参考にしたい。

[lmhh]

“Google BigQuery でヒストリカルデータ保存の料金を半分に、 クエリの速度を 10 倍に”

[sds-page]

WHERE句なんて捨ててかかってこいよ

[monnalisasmile]

Redshift：データ量×使用時間

[tackman]

AWSの出始めの頃もだけどクラウドインフラは毎回のようにパケ死者出してるよな

[masaya-chonan]

おそろしい。

[stealthinu]

うわぁ…　『WHERE句には何を書いてもテーブルをフルスキャンしてしまう』これは超怖い。怖すぎる。ありがたいお話だ。

[hamaco]

フルスキャンするってのは前にどこかでみたことあった気がするけどやるときに思い出せる気がしないので怖い……

[nrtkbb]

怖すぎる… "WEHRE句には何を書いてもテーブルをフルスキャンしてしまう"

[tgk]

「BigQueryは何でもフルスキャンで片付くからすばらしい」と紹介されていたが、実はすごく金がかかる

[patorash]

恐ろしい…。

[queenstage]

従量課金こわい。

[yhanada00]

Limit設定はAppEngineだけっぽい。「The daily budget only applies to App Engine resources for the selected project」https://cloud.google.com/appengine/docs/python/console/#billing

[tamakoron]

BigQueryで150万円溶かした人の顔

[fukken]

150万円分の価値のある貴重な知見だ

[hagino_3000]

"WEHRE句には何を書いてもテーブルをフルスキャンしてしまう" ってあるけど、データ移行のクエリが SELECT * と同等だから。Dremel/BigQueryで WHERE句を書いた時にスキャンされるのはSELECTとWHEREで指定した列だけ

[rx7]

久しぶりに「クラウド破産」という言葉を思い出した。

[deep_one]

並みのSQLサーバーの設計なら「無駄に遅い」ですんだのにね…AWSもデータの出入りに金がかかるので費用が読めなくて嫌い。

[wwolf]

oh...

[t_f_m]

あびゃ～

[tacke]

“あたりまえの教訓 クラウドサービスで大きなデータを扱う際は特に料金体系やデータの扱われ方をしっかり調べないと料金が爆発する。”

[tackn-k]

“料金”

[karumado]

ひえっ

[kwms]

#DMP

[younari]

何事も使い方の問題だよね。

[gabuchan]

BigQueryでパケ死…