Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker DeckPyCon JP 2017 の発表資料です。ジャンルは「業務利用事例」となります。 追記1. PyCon JP 2017 ベストトークアワード優秀賞を受賞しました！ 追記2. http://yuzutas0.hatenablog.com/entry/2017/09/12/203000 に補足を掲載しています！
pandasからBigQueryを扱う - Qiita
pandasをからBigQueryに保存されているデータを扱うとき、わざわざCSVやJSONを経由したくない場合があります。pandasでは新たにライブラリなどを入れる必要もなくread_gbqを使うだけで簡単にBigQueryからデータを読み込むことができます。 必要なもの 適切な権限の付与されたサービスアカウント (もしくは個人アカウント) private key (JSON) google-api-python-client 事前準備 サービスアカウントの作成と private key のダウンロード 権限の与えられたアカウントと対応する private key がない場合は作成しておきます。 Google Cloud Platform の「IAMと管理」のメニューから「サービスアカウント」を選択 「プロジェクトを選択」から対象のプロジェクトを選択 「サービスアカウントを作成」でアカ
BigQueryの課金、節約しませんか
13. 課金の対象 ストレージ - $0.020 per GB / month クエリ - $5 per TB processed (scanned) ストリーミングインサート - $0.01 per 100,000 rows until July 20, 2015. After July 20, 2015, $0.01 per 200 MB, with individual rows calculated using a 1 KB minimum size. 注目すべきはストレージ 14. 簡単な例 1TBのテーブルを毎日ロード、それぞれを一ヶ月間保持 日々のデータを毎日5回スキャンして集計 ストレージ : 1TB * 30 (tables) = $0.020 * 1000 * 30 = $600 クエリ: 1TB * 5 (Queries) * 30 (days) = $750
BigQueryを中心としたヴァルハラゲートのログ分析システム
6. Technology of Valhalla-Gate Windows on Cloud + C# C# 6.0 + .NET Framework 4.6 + ASP.NET MVC 5 によるウェブゲーム クラウド上のWindows Server 2012 R2 上にて稼働 データストアは Aurora(MySQL) + Redis 100 - Application Server 10,000 - Request/Sec 100,000,000 - Page View/Day 30,000 - Database Query/Sec 300,000 - Redis Command/Sec 60 - ms Average Response Time 7. Technology of Valhalla-Gate Windows on Cloud + C# C# 6.0 + .NET F
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cannot get table schema · Issue #2756 · googleapis/google-cloud-python
ファミリーマート、機械学習でおむすびの発注を改善、「Google Cloud」で企業改革【Google Cloud Next ’17 in Tokyo】
How to use Spark BigQuery Connector locally?
GitHub - samelamin/spark-bigquery: Google BigQuery support for Spark, Structured Streaming, SQL, and DataFrames with easy Databricks integration.
GitHub - spotify/spark-bigquery: Google BigQuery support for Spark, SQL, and DataFrames
カラムナーデータベース徹底比較
Google BigQuery Now Allows to Query All Open-Source Projects on GitHub