PythonでBigQueryの料金を監視する
この記事は GMOアドマーケティングAdvent Calendar 2020 2日目の記事です。 皆さん こんにちは、GMOアドマーケティングのS.Rです。 GoogleのBigQuery(Google Cloud Platform)という大規模なデータ分析ツールを使ったことがありますか? BigQueryでは1PB（ペタバイト）あるいは10億行といった膨大なデータに対して、SQLで集計・分析処理を極めて高速に実行できます。 ただBigQueryのQueryを実行するには、気を付けなければ高い料金が課せられます。 今回は、Pythonで、GCPのSDKでBigQueryの実行する状況を監視するプログラムを作る方法を、皆さんへ紹介させていただきます。 プログラムの構成 プログラムの構成は下記です。 Service account を作成&権限を設定 GCPの管理画面のService a
PythonでBigQueryの実行情報をSlackへ共有する方法
この記事は GMOアドマーケティングAdvent Calendar 2020 3日目の記事です。 皆さん こんにちは、GMOアドマーケティングのS.Rです。 前回のブログでは、GCPのSDKでBigQueryを実行する状況をBigQueryのテーブルへ格納するプログラムの作り方を皆さんへ紹介させていただきました。 実際の運用にはBigQueryの実行状況を集計することだけではなく、大きな課金が発生する場合にリアルタイムで責任者へ共有することも重要です。 今回はBigQueryの実行する情報を、よく使われているSlackという業務用チャットツールへ共有する方法を皆さんへ紹介します。 Slack側の設定 1 連携用Slack Appを作ります。 Slackの管理画面を開いてAppの名前やwork placeの名前を指定してください。今回のブログではAppの名前をbigquery_cos
ダルビッシュ有さんが2017年に投げた投球データをPythonとBigQueryで軽く調べてみた - Lean Baseball
今日で週休七日生活が終わる野球エンジニアこと@shinyorkeです. 昨年末に,BigQueryに突っ込んだ野球データでダルビッシュ有さん（@faridyu）の投球データについてかる～く調べてみました. 「今年こそPythonでデータ分析するぞ！」 「BigQueryをPythonから使いたいぞ！」 っていう野球好きの方の参考になれば幸いです. なお今回はホントにデータを覗き見した程度の軽いネタです. TL;DR 投球コースを散布図で可視化するといい感じになる 球種と結果をSankey Diagramにするのも面白い BigQueryとJupyter,pandasの組み合わせすっごい楽 次回はPySparkあたりで学習とかさせたい 多分おそらく@faridyuさんはここに書いた分析と傾向の斜め上をいくと思ういや行って欲しい（ファンとして） Starting Member TL;DR St
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
