BigQueryのコストを抑えろ！ DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み
BigQueryのコストを抑えろ！ DeNAが取り組む「BQドクター」の実態 1年で1600万円を削減見込み（1/2 ページ） 米Google Cloudが提供するクラウドデータウェアハウス「BigQuery」。くら寿司やヤフーなど、さまざまな企業がデータ分析に活用している。ディー・エヌ・エー（DeNA）もその1社で、数百以上のプロジェクトに取り入れるなど、全社的に活用しているという。 ただ、DeNAではBigQueryの活用に課題を抱えていた。社内におけるBigQuery活用の統制・管理が徹底できていなかったことだ。特にコスト管理や、事故による予算超過を防ぐ仕組みが確立できていなかったという。 一方、DeNAでは対策も進めている。同社では「BQドクター」と題し、BigQueryの課題改善に向けた取り組みを実施している。コスト管理の仕組み作りなどを進めた結果、2022年度は年間で約1600
Spark(DataProc)からBigQuery MLに移行してコストを削減した話 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 自社開発サービスである「Rtoaster（アールトースター）」は、2019年にユーザー分析機能の「自動クラスタリング機能」をSpark(DataProc)からBigQueryMLに移行しました。 ブレインパッドの新卒2年目の自社サービス開発エンジニアが、新卒1年目で取り組んだ、この大きなプロジェクトでの経験についてご紹介します！ はじめに 背景 ユーザー分析機能と自動クラスタリング 移行前の環境と問題点 BigQuery ML について 実装 モデル移行の実装 結果 料金の削減 実行時間の削減 運用の問題解消 最後に はじめに 本記事は、ブレインパッドの自社サービスである「Rtoaster（アールトースター）」のユーザー分析機能のチームで開発をしている、新卒入社2年目のエンジニア柴内がお送
BigQueryのコスト可視化ダッシュボードを10分で作る - 下町柚子黄昏記 by @yuzutas0
この記事はGoogle Cloud Platform その１ Advent Calendar 2018 - 18日目の記事です。 以前こういうブコメをしたのですが、言いっ放しだとダサいので、具体的なやり方を書きます。 "アカウントごと/日付ごとのBigQueryコストを可視化できるダッシュボード" なら Stackdriver + BQ + Datastudio を使うと作業時間10分・ほぼ無料で作れるので、うちはそのやり方を採用していますね。… https://t.co/9yoni22iw7— ゆずたそ (@yuzutas0) August 17, 2018 もくじ もくじ はじめに この記事のゴール 解決したい課題 課題の背景 実行方針 完成イメージ 作業手順 1: BQクエリ実行ログを流す 2: DataStudioでダッシュボードに表示する 応用編 1: 全体コストを可視化する 2
6,000スロットを使うBigQueryのリソース配分最適化への挑戦
BigQueryのリソース配分最適化のため、プロジェクトへのコミットメントの割り当てパターンや、スロット消費の多いクエリの見つけ方などについて調査した結果をまとめてみました
BigQuery Flex Slots Pricing: A programmatic approach
Google has recently introduced a new pricing model for BigQuery under the name of “BigQuery flex slots”. What is this new pricing approach and when should you choose for it? This article will focus on this new pricing and on how to programmatically get slots and assign them to your project. The code available here will give you two Cloud functions that can be parameterized with number of slots des
BigQueryコスト最適化！ストレージ利用料金を把握しよう
この記事は GMOアドマーケティング Advent Calendar 2019 23日目の記事です。 こんにちは、GMOアドマーケティングの星野です。 GMOアドマーケティングでは、色々なログデータをBigQueryに保存して解析を行っています。 その中でも広告プロダクトはリクエスト数が多いだけに気がついたら保持しているデータが膨大な量になっていたことになりがちです。 BigQueryの課金はクエリ毎にも掛かりますが、保存しているデータに応じても課金されます。 クエリに関してのコスト最適化については色々な所で記事になっていますがストレージについては元々安いからか、あまり見かけません。 ストレージ利用料金が安いとは言っても、いつの間にかデータ量が増えて、コストが嵩んでいるということにならないように、今回は、BigQueryのストレージに関してのコスト最適化について紹介していきます。 BigQ
Cost optimization best practices for BigQuery | Google Cloud Blog
Cloud cost optimization: principles for lasting successLearn organizational principles that can help you run your cloud environment efficiently and cost effectively. By Justin Lerma • 11-minute read Understanding the basics of pricing in BigQueryLet’s look at the pricing for BigQuery, then explore each billing subcategory to offer tips to reduce your BigQuery spending. For any location, the BigQue
VASILYにおけるBigQuery + Tableau活用例 - ZOZO TECH BLOG
こんにちは！ なんでもディープラーニングでやりたがる癖が抜けず、3ヶ月のディープラーニング禁止令を言い渡されていた後藤です。 本記事ではVASILYで利用しているデータ分析の環境について紹介します。 VASILYではデータ分析が必要な場面で、BigQueryとTableauを組み合わせて利用することが多いため、これらの実際の活用例とTableauの選定理由について紹介したいと思います。 以前、CTOがデータ周りの環境の全体像を紹介しました。 tech.vasily.jp 社内ではBigQueryを中心にデータ周りの環境が構築されており、そこからデータ活用のあらゆる業務へつながります。 データの可視化と社内への共有は主にTableauを使っています。 まずは、BigQueryとTableauの説明から始めます。 BigQuery とは BigQueryとは、Googleが提供しているデータウ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Factors influencing BigQuery compression ratios | Google Cloud Blog
https://services.google.com/fh/files/misc/19092_bigquery_best_practices_and_cost_optimization_whitepaper_v3_ca.pdf?hl=ja
Optimize BigQuery performance with INFORMATION_SCHEMA views | Google Cloud Blog
Monitoring your BigQuery costs and reports usage with Data Studio
BigQuery flexible pricing, starting with 100 slots | Google Cloud Blog
BigQuery Consulting Pricing
Optimize BigQuery costs with Flex Slots
No, the Cloud is not too expensive
Airflow and superQuery
Don’t get the Google Cloud Bill Shock! | DoiT
カスタムコスト管理を作成する | BigQuery | Google Cloud
Visualizing the mechanics of on-demand pricing in big data technologies | Google Cloud Blog