Google Apps Script で BigQuery のテーブル定義をスプレッドシートに自動で出力してみた | DevelopersIO
こんにちは、みかみです。 やりたいこと Google Apps Script（ GAS ） から BigQuery を操作するにはどうすればいいのか知りたい GAS で BigQuery のテーブル定義書をスプレッドシートに出力したい GAS をスケジュール実行して、定期的にテーブル定義書を更新したい Step1：BigQuery テーブルデータをスプレッドシートに出力 とりあえず、Google Apps Script を動かして、BigQuery のテーブルデータをスプレッドシートに出力してみたいと思います。 新しいスプレッドシートを開いたら、「ツール」タブから「スクリプトエディタ」をクリックします。 Apps Script 画面が開くので、「サービス」から「BigQuery API」を追加します。 エディタに以下のスクリプトを入力しました。 function runQuery() {
BigQuery のコスト管理方法を調べてみた | DevelopersIO
こんにちは、みかみです。 テーブルやインデックスチューニング不要で大量データでも十分な処理速度が確保できるという便利な BigQuery ですが、知らないうちにすごいお金かかったりしていないか、やはりいまだにちょっと心配。。 やりたいこと BigQuery では、ストレージ使用量と SQL クエリの処理データ量に対して課金が発生します。 BigQuery の料金 ｜ BigQuery ドキュメント 保存が必要なデータの精査や処理内容の検討、SQL クエリのチューニングなどでもコストの最適化が見込めますが、その他、BigQuery の利用料金を気を付けるには、どんな方法があるのか確認したい。 クエリ実行前に --dry_run で処理データ量を確認 --dry_run オプションで、実際にクエリを実行すると処理データ量はどのくらいになるのかを事前に確認することができます。 ストレージとクエリ
RubyでBigQueryから簡単にデータを取得する 2017年1月最新版 - Qiita
はじめに みなさんGoogleのBigQuery使ってますか？とても便利なのでこちらの記事でも紹介させて頂いたように弊社でもほぼ全てのデータをBigQueryに入れて分析しています。 RubyからBigQueryを扱うGemは以前からいくつか存在しているのですが、現状の最新(2017年1月時点)ではどう扱うのが一番良いのかをまとめておきます。 BigQueryを扱えるGem達 abronte/BigQuery Googleで検索すると一番上に出てくるのでこのGemを利用している人も多いと思います。 しかし、2016年になってからあまりメンテされている様子はありませんので、利用は控えたほうが良いでしょう。 google/google-api-client-ruby こちらのGoogleが提供しているgoogle-api-client-rubyを最新版にしてBigQueryのインターフェースを
BigQueryで作る分析環境
This document discusses various tools used for data pipelines including Digdag for workflow automation, BigQuery for data storage and analysis, and Tableau, Python, and R for visualization and reporting. It provides examples of using these tools together including loading data from MySQL to BigQuery, partitioning BigQuery tables, and altering tables. It also briefly mentions other related tools li
BigQueryにデータをバッチでインポートする - Qiita
BigQueryにデータをインポートする際はBigQuery Streamingを利用するfluentd-plugin-bigqueryがとてもとても便利ですが、BigQuery Streamingは来年から有料になります。 ストレージの課金が容量(GB)単位なのに対してBigQuery StreamingはInsertされた行数(0.01＄/10万行)単位で課金されるようになるのでデータの流量が多いサービスを運営している場合はその費用が気になるところです。 なのでfluentd-plugin-bigqueryと比べると自動化するのが少々面倒ですが、BigQueryにデータをバッチでインポートする方法を考えてみます。 BigQueryにデータをインポートする 例えばFluentdで集約したアクセスログを1時間毎に区切ってgzip圧縮して保存したファイルをBigQueryにインポートするとし
データ分析基盤としての BigQuery 運用のベストプラクティス - ZOZO TECH BLOG
あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知見をベストプラクティスとして紹介したいと思います。 ログデータのテーブル名に日付を入れる BigQuery でログを保存する場合は、テーブル名の最後に yyyymmdd 形式で日付を入れることをお勧めします。理由は二つあり、１つ目はスキャン対象となるデータ量を抑えられるため、２つ目が Web UI でのテーブル管理が容易になるためです。 処理データ量の抑制 まず、スキャンするデータ量を抑えられるという点ですが、BigQuery ではクエリを発行
BigQuery Connector for Excelを使ってExcelで超高速クエリ実行を行う - Qiita
Google BigQueryは超高速でクエリを実行できて便利であるが、結局のところExcelデータでください、みたいなことを言われたりして面倒なことがある。こういったとき、Google BigQuery Connector for Excelを使用すれば、Microsoft Excelから直接Google BigQueryにクエリを発行し結果を取得することが出来る。 BigQuery Connector for Excel - Google BigQuery - Google Developers BigQuery Connector for Excelを準備する BigQuery Connector for Excelを使用するには、ページにアクセスし専用の認証キーを発行する必要がある。 Google BigQuery Connector for Excel BigQuery Conn
BigQuery ユーザ毎に使用したコストを算出する - Qiita
BigQueryを運用していると、どのユーザがどれだけコストを使用しているのか知りたいことがある。 そこで、その方法について以下のページに記載されているので実際に試してみる。 https://cloud.google.com/bigquery/audit-logs Cloud Audit Loggingを有効にする Cloud Audit LoggingはGCPによって提供される使用率のログを収集する。BigQueryのAuditログは"Administrative Activity"と”Data Access”のログから構成されている。 GCPコンソールでLogsViewerからExportを選択し、出力先のBigQuery Datasetを指定する。これにより、AuditLogがBigQueryに出力されるようになる。 AuditLogに対してクエリを実行し、ユーザ毎の使用コストを算出
Google BigQueryの新機能 Standard SQLまとめ - ZOZO TECH BLOG
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしているので、使い勝手や従来のSQLからの移行方法についてまとめておきます。 Standard SQLとは SQL:2011に準拠しつつ、配列や構造体等の構造化データを扱えるように拡張されたSQLです。 Standard SQLの登場によって、以前からあったSQLはLegacy SQLと呼ばれるよ
BigQueryの課金、節約しませんか
This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensur
BigQueryの課金について考えた（前編） - Qiita
2015/02/15 書き直しました！サーセン！ 安すぎて今までその考えはなかったわwww さて、BigQueryの課金について。 今まで1テーブルあたりのデータ量も数十GBレベル、レコード数も億に届くかどうかぐらいのデータなんでクソクエリ回したところで1回1円未満とかそんなだったので、あんまり気にしなかった。（まぁ、使い始めた頃は5倍ぐらいの値段だったので気にするレベルだったのですが） あと、GoogleAnalyticsPremiumも入っているし、毎月$500が免除されるためもっと気にしてなかった。w でも、普通に契約するとお金がかかるわけで。なので、ちょっと考えてみましたと。 そもそもどこに課金されるんだっけ？ BigQueryの課金は主に3つあります。 入れているデータ量（ストレージ） StreamingInsert使っている場合はその行数 クエリするデータ量 詳しくはこちらに書
ここが変だよ BigQuery テーブルの JSON Export - Qiita
Exporting Data From Bigquery の機能を使って BigQuery のテーブルを GCS (Google Cloud Storage) に JSON Export する時の挙動をまとめておく。 書いてある仕様 ref. https://cloud.google.com/bigquery/exporting-data-from-bigquery BigQuery でエクスポートできるデータはファイルごとに最大 1 GB だが、gs://my-bucket/file-name-*.json のようなワイルドカード指定すると、複数のファイルに分けてエクスポートできる。 (GCS に書き込むので当然) Developer Console で BigQuery API に加えて GCS API を有効にしてもらう必要あり (GCS に書き込むので当然) GCS への writ
tumugi で BigQuery のクエリ結果を Google Sheets に保存し、URL を Slack に通知する方法 - Qiita
tumugi で BigQuery のクエリ結果を Google Sheets に保存し、URL を Slack に通知する方法RubyGoogleDriveBigQuerytumugi 仕事で BigQuery のクエリの結果を共有用のフォルダに Google Sheets 形式で保存して、Slack で URL を共有する、ということを頻繁にやっているのですが、 WebUI だと、クエリ結果を Google Sheets 形式で保存できるけど、ファイル名とフォルダが指定できないので、いちいち名前を変えて、フォルダを移動しないといけない。Slack 通知はできない。 Google Apps Scirpt (GAS) だと、全部実現できるけど、コードの管理を GitHub でやるのが面倒 と定形処理なのに、イマイチ効率の良い方法がなかったのを、tumugi で Ruby スクリプト化しまし
BigQuery の課金仕様と注意点をまとめてみた（2015-07 時点） - Qiita
最初は安く収まっていた BigQuery の費用もだんだん膨らんできた ので、自分（社内）用にまとめたものです 広告事業（アドネットワーク）のログを BigQuery に入れているので、それなりにデータ量も増えてきて、こういうことも考えていかないといけなくなってきました どの操作にお金がかかるのか データを保存しておく データを Streaming Insert（≒ 追加）する データを走査して取得する クエリを発行する データの保存 $0.020 per GB, per month 1 TB を 1 ヶ月保持すると、$20 かかる データの Streaming Insert $0.01 per 100,000 rows until August 12, 2015. After August 12, 2015, $0.01 per 200 MB, with individual rows
83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fight with growing data on Rails
GitHubのすべてのオープンソースプロジェクトがGoogle BigQueryで検索可能に
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SSSSLIDE
Google BigQuery クエリの処理の流れ - #bq_sushi
