リクルートライフスタイル流！分析基盤との賢い付き合い方MANABIYAでの発表資料です。 数十のプロダクトのデータを一手に集め、処理を回すリクルートライフスタイルのビックデータ分析基盤。本資料では、分析基盤の構成、ブロダクトの選定理由、課題解決の実例という3本立てでご紹介します。 リクルートライフスタイル 白子 佳孝 秋本 大樹Read less
BigQuery vs Athena vs RedShift vs Hive - Qiita
オブジェクトストレージの料金 お金は大事ですね． まずはストレージの料金から比べます． 料金は各種操作にかかりますが，特にドミナントなのはストレージ代と転送量だと思うのでこれ以外はめんどくさいのでスルー． 料金系は変動が激しそうなので，まずリンクを貼ります． S3 GCS とりあえず検証時点では，こちらの想定するデータ量で以下の通りでした． (東京リージョン) S3 Storage料金: $0.025 / GB 転送料金: $0.14 / GB GCS Storage料金: $0.023 / GB 転送料金: $0.14 / GB よっぽどデータが大きくない限り大した差にはならないので，決め手にはならないでしょう． 後日談の方でも少し述べますが，ストレージの機能としては若干S3の方が優れている気がしたので，若干高いのもまぁ妥当だと思います． 料金 こちらもまずはリンクを. Athena R
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
BigQueryのコストに対する恐怖心を払拭する - Qiita
はじめに 大量データをクラウドに格納してデータ分析に利用してみようと思い、 速い・安いと言われるGoogleCloudPlatform(GCP)のBigQueryを触ってみた… かったのですが、以下の記事にもあるように予想外に課金されてしまった事例を小耳に挟んでいたため二の足を踏んでいました。 BigQueryで150万円溶かした人の顔 BigQueryのコストに対する恐怖心を払拭すべく公式ドキュメントを料金面にフォーカスして読み解き、 不用意に大量課金されないよう気をつける点をまとめたのが本記事となります。 今後も改定される可能性もありますので、利用の際にはご自身でも確認していただければと思います。 また、情報が誤っていた場合はご指摘いただければ幸いです。 課金される操作 BigQueryで課金される内容は ・ストレージ代金 ・データ操作代金 です。単純ですね。 ただし、データ操作は回数
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
