Google Apps Scriptを使ってスプレッドシートからBigQueryのテーブルを更新する
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今回はAppsScriptを使って、スプレッドシートからBigQueryのテーブルを更新する方法についてです。 1.スプレッドシートのデータを用意する 例として、sstable1とsstable2というシート2枚から構成されるスプレッドシートを使います。 スキーマはいずれも： id: INTEGER name: STRING memo: STRING という簡単なものです。 sstable1 sstable2 2.Apps Scriptを作成する スプレッドシートで開いているアクティブなシート名を
SpreadSheetでGoogleAppScriptを使ってみた(データロード) - Qiita
やりたきこと spread sheetにgasを書いて定期実行でBQにデータをロード ~背景説明~ spread sheetのデータを定期実行でBQに入れる時は、 スプレッドシートのデータをBigQueryにインポートしてみた にあるようなやり方で簡単に入れることができます。 しかし 社内の規約でサービスアカウントからBQは見れるが, spread sheetが見に行けない状態でした。。。 そのためgasを書くことに。。・ やり方 bigquery APIやspread sheet APIを色々許可する（詳しいところは忘れました） spread sheetを開いて ツール>スクリプトエディタ の順でスクリプトエディタを開く 以下のgas(Google Apps Script)を記入 編集>現在のプロジェクトのトリガ を開く 好きなタイミングを指定して保存 //BQ側の設定 var proj
Google スプレッドシートを BigQuery のテーブルとして扱う - べにやまぶろぐ
とても便利な機能だと思うのですが、あまり日本語の記事を見かけない気がするので書き記しておきます。 Google スプレッドシートは BigQuery 上でテーブルとして参照できる 普段仕事で BigQuery を使っているのですが、データソースは必ずしも BigQuery 上にあるわけではありません。特に、誰でも自在に変更のできる Google スプレッドシートをマスターにして回っている業務が結構多いです。 この時、Google スプレッドシートのデータをいちいちインポートせずとも BigQuery 上のテーブルとしてアクセスできる方法があります。 外部テーブルの参照先に Google スプレッドシートを指定する まず、Google スプレッドシートを参照する外部テーブルを BigQuery 上に作成する必要があります。 通常のテーブル作成画面を開いた後、下図のようにテーブルの作成元は『ド
BigQueryで「日付別テーブル」や「テーブルパーティショニング」を活用して大規模データを扱う - Qiita
概要 BigQueryで大量のデータを扱う場合、日付別テーブルもしくはパーティショニングされたテーブルを利用すると便利です。 これらのテーブルの種類についてはドキュメントにもありますが、いくつかのページにまたがっていたりして見つけるのに苦労しているので、ここにまとめておきます。 ３つの選択肢 「日付別テーブル」、「取り込み時間で分割されたテーブル」、「分割テーブル」の３つの選択肢があります。 後ろの２つがパーティショニングされたテーブルです。テーブルとしては１つですが内部的に分割（パーティションニング）されていて、実行するクエリで読み込むパーティションを指定することでスキャン対象のデータサイズを減らすことができ、パフォーマンスとコストを向上させることができます。 「日付別テーブル」は、その名の通り日付ごとに作成した複数のテーブルです。命名規則に従ったテーブル名をつけることで、Webコンソー
実践！BigQuery で DELETE！ - Repro Tech Blog
Repro インフラチーム (SRE + 分析基盤) の山下です。 BigQuery で特定のレコードを削除する際の注意点やある程度大きなテーブル (20 TB・300 億レコード・500 パーティション程度) で実際に削除してみた際の挙動を共有します。 注意 2019 年 1 月頃に確認した仕様や挙動を書いています。現在の仕様や挙動とは異なる可能性があります。 BigQuery の DELETE サポート 以前は利用できなかったようですが、現在はベータ機能として提供されています。 cf. https://cloud.google.com/bigquery/docs/reference/standard-sql/dml-syntax?hl=ja#delete_statement 制限 BigQuery には様々な制限がありますが、特に DELETE に関係しそうな次の制限について引用を交え
年末年始の勉強にピッタリ！ GCP BigQuery に Datastore のデータを読み込んで解析してみる | 株式会社ビヨンド
こんにちは。 開発チームのワイルド担当、まんだいです。 Appmill （アプミル）の監視データの分析をしようと思ったのですが、それなりの量になってきて、DB に格納するのも一苦労なサイズになってきました。 こうなったら、GCP といえば、あれ。 そう、BigQuery の出番ですよね。 今回は、GCP 上にある Datastore のデータを BigQuery にインポートしてクエリを実行し、エクスポートして再利用する方法をご紹介します。 Datastore からデータを読み込む準備 まず、注意点として、Datastore から BigQuery へ直接データをインポートすることはできません。 なので、一旦 Datastore から Cloud Storage へデータを移動します。 Datastore のデータを Cloud Storage に移動させるには、Datastore のバッ
GCP大阪リージョン正式運用開始！気になる 東京リージョンやAWS大阪リージョンとの違いは？ | クラウドエース株式会社
リージョン設立のコンセプトが異なると思われますが、AWSは東京リージョンを利用していることが前提でAWS大阪リージョンの申請が可能なようですが、単一ゾーンでのサービス提供のためバックアップサイトとして使うにしても不安があります。 GCPの大阪リージョンはメイン環境として利用されることを想定したリージョンとなりますので、大阪リージョンをメイン環境として東京リージョンをバックアップサイトにすることも可能です。当然 GCP大阪リージョン単独で利用することも可能です。 3. 西日本エリアからGCP大阪リージョンへのレイテンシー GCPリージョンのレイテンシー確認サイト（http://www.gcping.com/）を使って 大阪、名古屋、福岡からのGCP大阪リージョンに対するレイテンシーを見てみると 大阪からの実施結果（新大阪） 新大阪にある弊社の大阪支社からの結果ですが、大阪リージョンの方が僅か
スプレッドシートとBigQueryだけで定期更新するBIを作る方法 - Qiita
詳細手順 1.BigQueryとのコネクト 1-1.データ>データコネクト>BigQuery 1-2.プロジェクトを選択してコネクト 1-3.Queryを書く 1-4.結果を挿入する 2.マクロの設定方法 2-1.一度別タブに遷移しマクロの記録を開始 マクロの記録を開始する際は別のタブからデータシートへ遷移するところからはじめる 2-2.データシートのタブに遷移しQueryの更新をして、記録を保存 2-3.スクリプトエディタに遷移 2-4.現在のプロジェクトのトリガーへ遷移 2-5.トリガーを設定する 僕はだいたいこういう設定をします。毎日朝更新。 3.グラフを作る 最後に 毎日やるような作業はどんどん自動化して楽をしていきましょう QueryとGAS（この場合はGAS書いてもない）で、業務効率化はどんどんできます データ見るの大事です おまけ こんなスクリプトです。セルの選択などいらない
Embulkを使ってGoogle アナリティクスのデータをBigQueryに転送する方法 | 株式会社プリンシプル
本記事で触れているGoogleアナリティクスは、ユニバーサルアナリティクス（UA）を前提としています。 GA4を対象とした記事ではございませんので、ご注意ください。 「Google アナリティクスで計測した内容を、他のデータと統合して分析したい」 Google アナリティクスを活用されているお客さまから、しばしばいただくご要望です。 アナリティクスと、データを集約するシステムやサービス（たとえば、Google BigQuery）を連携するには、特別なプログラムを開発する必要があるのではないか――そんなふうにお考えの方が多いかもしれません。ですが、適切なツールを使うことで、プログラム開発をすることなく、データの連携は実現できます。 今回は、データ転送ツール「Embulk」を使って、Google アナリティクスの計測値をGoogle BigQueryに転送する手法を紹介します。 データ転送ツー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
