gcloud コマンドを使って Datastore から BigQuery にシュッとする - utahta blog
特定の Datastore Kind を適当に BigQuery へ持っていきたいとき、gcloud コマンドを使うと便利だった。 gcloud コマンドのインストールはドキュメントのとおり。 Export エクスポートする App Engine プロジェクトは mcz で、Datastore の Kind は User, UserActionLog とする。 まず GCS(Cloud Storage) にエクスポート先バケットをつくる。 プロジェクトとバケットのリージョンが異なると怒られたので、要注意。 ここでは mcz_export というバケットをつくったことにする。 エクスポートコマンドは次のようになる。 gcloud --project=mcz beta datastore export --kinds="User,UserActionLog" gs://mcz_export/b
Google BigQueryの新機能 Standard SQLまとめ - ZOZO TECH BLOG
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしているので、使い勝手や従来のSQLからの移行方法についてまとめておきます。 Standard SQLとは SQL:2011に準拠しつつ、配列や構造体等の構造化データを扱えるように拡張されたSQLです。 Standard SQLの登場によって、以前からあったSQLはLegacy SQLと呼ばれるよ
Explore the bq command-line tool | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Explore the bq command-line tool The bq command-line tool is a Python-based command-line tool for BigQuery. This page contains general information about using the bq command-line tool. For a complete reference of all bq commands and flags, see the bq command-line tool reference. Before you begin Be
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
