Google Cloud Next 2019 in SF , BigQuery 関連発表まとめ
Google Cloud Next 2019 in SF が 4 月 9 - 11 日で開催されました。その中での BigQuery 関連の発表をまとめました。 BigQuery だけでも盛り沢山ですね。 BigQueryBigQuery では複数の関数が追加されたほか、 Partition の新しい型のサポート、定額プランがより使いやすくなるなどの発表がありました。BigQuery Storage API は BigQuery に格納されたデータのバルクでの取り出しが高速になり、projection などにも対応しています。Dataflow や Hadoop/Spark のマネージドサービスである Dataproc などでもより高速に BigQuery のデータが処理できるようになりました。これにより、 BigQuery は単なるデータウェアハウスとしてだけではなく、 BigQuery
Google Cloud Next '19で発表された新機能を紹介します！ (Cloud Run, BigQuery Storage API, Cloud Data Fusion) - ZOZO TECH BLOG
こんにちは！ App EngineのスタンダードランタイムにRubyが追加されて喜んでいるバックエンドエンジニアのりほやん（高木）と、オレンジ色のチンアナゴは実はニシキアナゴという別種だったことに驚きを禁じ得ない塩ちゃん（塩崎）です。 4/9, 10, 11の期間で開催されたGoogle Cloud Next '19にZOZOテクノロジーズから高木と塩崎が参加しました! GCPの新しい機能や活用についての事例が多く紹介されました。 その中でも2人がカンファレンスで気になった技術を紹介します。 Cloud Run Cloud Runとは Cloud Runの特徴 実際に使ってみる 1. アプリケーションの準備 2. コンテナイメージをビルドする 3. Cloud Runにサービスを作成する App Engineとの違い サービスの比較 各サービスの概要 App Engine Cloud Ru
BigQueryで現在から見た先月月初日、先月月末日を求める - コード日進月歩
非エンジニアからもらったクエリがすごかったので紹介 前提条件 STANDARD SQLです やり方 先月月初日 FORMAT_DATE("%Y%m%d",DATE_TRUNC(DATE_SUB(CURRENT_DATE('Asia/Tokyo'), INTERVAL 1 MONTH), MONTH)) 原理 # 当日東京時間 CURRENT_DATE('Asia/Tokyo') # 当日東京時間 から 1ヶ月前 DATE_SUB(CURRENT_DATE('Asia/Tokyo'), INTERVAL 1 MONTH) # 当日東京時間 から 1ヶ月前 で 年月情報のみにする DATE_TRUNC(DATE_SUB(CURRENT_DATE('Asia/Tokyo'), INTERVAL 1 MONTH), MONTH) # 当日東京時間 から 1ヶ月前 で 年月情報のみにして YYMMD
重複しているレコードを検索するSQL(大量データも対応) - Qiita
たまにしかやらないけど、 毎回やり方を調べている気がするので備忘録としてメモ。 DISTINCTを使って重複した行をまとめることはできるけど、 逆はできないので、強引に対応する。 列Aが重複しているデータを取得
Node.jsでBigQueryを叩いてみようと思ったら一瞬で終わった - Qiita
ちきさんです。 Node.jsでGCPのBigQueryに元々用意されているサンプルデータをクエリしてみようと思ってやってみたらあっさりできたのでメモを残します。 https://cloud.google.com/bigquery/create-simple-app-api?hl=ja#bigquery-simple-app-query-nodejs を参考にしました。 書いたTypeScriptのコードはこちら。 import * as BigQuery from '@google-cloud/bigquery' const bigquery = BigQuery({ credentials: require('./path/to/your-service-account-key.json') }); const query: string = ` select corpus, coun
GCP: 今月のGCP課金額をslackに自動的に書き込む
マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。【ブログネタ募集】ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの「ブログへの」リクエストよりお送りください。 menu こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 今回はGCPの課金額をslackに自動的に書き込むプログラムを作って見ます。 GCPは低コストでクラウド環境を構築できるのでとても良いのですが、うっかりテスト用の設定を作ったまま放置してしまって課金されてたり、なんてことありませんか？ 毎日slackに今月の課金額をポストしてくれると、少しはダメージが少なくなるかも知れません。 やることは以下のとおりです。 1. GCPのBillingレポートをBigQueryにエクスポートする 2. BigQueryのBilligテーブルにクエリを投げて、レポー
bqコマンドの使い方: UNIX/Linuxの部屋
最終更新 2019-07-12 BigQuery とは、Google のクラウドサービスである Google Cloud Platform で動作するデータウェアハウスエンジンである。管理画面から GUI 操作することもできるが、bq コマンドを使うことでコマンドライン (CLI) から効率的にテーブル・データの管理が行える。MySQL の mysql コマンド、PostrgreSQL の psql コマンド、Oracle の sqlplus コマンドに相当する。 % bq ls Welcome to BigQuery! This script will walk you through the process of initializing your .bigqueryrc configuration file. First, we need to set up your credent
ZOZOTOWNは、いかにしてRedshiftからBigQueryへの移行を成功させたか？【デブサミ2019】
株式会社ZOZOテクノロジーズが開発・運用する、日本最大級のファッション通販サイトZOZOTOWN。同社は昨年、このサービスで使われるデータウェアハウスをAmazon Redshift（以下、Redshift）からGoogle BigQuery（以下、BigQuery）に移行した。本セッションでは開発部 SREチームの塩崎健弘氏が、BigQueryを採用した理由や移行にあたり工夫した点について語った。 講演資料：ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 運用負荷軽減のため、よりマネージドなBigQueryへ移行 株式会社ZOZOテクノロジーズ 開発部 SREチーム 塩崎健弘氏 かつてZOZOTOWNのインフラでは、データウェアハウスとしてRedshiftが用いられていた。当時のデータフローは下図の通りだ。オンプレミスで動いているZOZOTOWNの各種サ
Google Cloud Platformの支払い情報をBigQueryにエクスポートしてSlackに飛ばすまで - Qiita
概要 スクリプトを使って，支払い情報の取得設定や通知できるようにするためにはどうすれば良いかを説明します。 Google Cloud Platform(以下GCP)の支払い情報をBigQueryにエクスポートして，GCFで集計してSlackに通知するスクリプトを作りました． 下のような通知が日時でSlackに届きます．かっこの中身は前日の金額との差（昨日より増えてるか減ってるか）です． オプション設定によりプロジェクトの内訳も表示できるようになります。（一番下を参照） デプロイコマンドも同封しているので、slack api tokenとBigQueryのエクスポート設定をすれば任意のチャネルに通知を飛ばせるようにできます。 スクリプトはこちら（Github） 使用するもの ・BigQuery ・Google Scheduler ・Google Cloud Functions ( Node.
Bigquery | 日付・時間系のクエリまとめ ( query reference 日本語訳 ) - Qiita
CURRENT_DATE 現在の日付を返します。 フォーマットは 年-月-日 です。 Returns a human-readable string of the current date in the format %Y-%m-%d. 結果: 2013-02-01 CURRENT_TIME サーバーの現在時刻を、読みやすい形で返します。 フォーマットは 時-分-秒 の形です。 Returns a human-readable string of the server's current time in the format %H:%M:%S. 結果: 01:32:56 CURRENT_TIMESTAMP サーバーの現在時刻を、タイムスタンプで返します。 フォーマットは 年-月-日 時:分:秒 です。 Returns a TIMESTAMP data type of the server'
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
BigQueryで「日付別テーブル」や「テーブルパーティショニング」を活用して大規模データを扱う - Qiita
概要 BigQueryで大量のデータを扱う場合、日付別テーブルもしくはパーティショニングされたテーブルを利用すると便利です。 これらのテーブルの種類についてはドキュメントにもありますが、いくつかのページにまたがっていたりして見つけるのに苦労しているので、ここにまとめておきます。 ３つの選択肢 「日付別テーブル」、「取り込み時間で分割されたテーブル」、「分割テーブル」の３つの選択肢があります。 後ろの２つがパーティショニングされたテーブルです。テーブルとしては１つですが内部的に分割（パーティションニング）されていて、実行するクエリで読み込むパーティションを指定することでスキャン対象のデータサイズを減らすことができ、パフォーマンスとコストを向上させることができます。 「日付別テーブル」は、その名の通り日付ごとに作成した複数のテーブルです。命名規則に従ったテーブル名をつけることで、Webコンソー
Bigqueryの日時に関係する関数全部試してみた ①Date編 - Qiita
はじめに BigQueryで日付の操作をすることはしばしば起こります。 その度に調べるのも面倒ですし、まだ使ったことのない関数もあるので この機会に日時に関する関数を全て試したので紹介します。 下記の4本立てで書いていきます。 ①Date編←今ここ ②DateTime編 ③Time編 ④TimeStamp編 ※注意 StandardSQLでのみ動作を確認しています。 引数に「日付」と出てきますが、「YYYY-MM-DD」形式のことを指しています。 例のクエリでDATE('2017-12-22')のように出てきますが、文字列「2017-12-22」を日付にキャストしています。 CURRENT_DATE() 現在の日付を取得できる 引数にtimezoneを指定できる(指定がない場合はUTC)
BigqueryのSchedule queryを細々活用している話 - Qiita
この記事はGoogle Cloud Platform その２ Advent Calendar 2018の8日目の投稿です。 はじめに 今年はBigqueryに様々な機能が追加されました。 UIも新しくなり、大きく変わったなぁと今振り返ると感じます。 やはり今年のBQのアップデートの一番の目玉はBQMLかと思いますが、 個人的には痒いところに手が届くSchedule Queryも非常に気に入っています。 Schedule queryとは クエリを定期実行してくれるBQの機能です。 BQのUI上で完結できるからプログラミングしなくてよくて便利 使い方 ※ 旧UIでしか使えません UIにSchedule Queryというボタンがしれっと追加されてます。 ボタンを押すと下記のような感じ 任意の値を設定してください。 テーブルを指定するときは日付分割テーブルにすることもできます。 その際は、 tab
BigQuery でデータ追加が意外と難しかったのでメモ - Qiita
結論 × オペレーションが難しい ⚪︎ ドキュメントが難しい きっかけ それまでログに対して SELECT による集計等はやっていましたが, 直接 BigQuery のコマンドを使用してのデータ追加はやったことがありませんでした. 今回追加作業をするにあたって 「MySQL とかみたいに INSERT バッチとかですぐ終わるでしょ」と高を括っていました. Google Cloud SDK インストール SDK をインストールすることによりコマンドライン上から BigQuery コマンドを実行できます. https://cloud.google.com/sdk/ これは普通にダウンロード & インストールなので大丈夫. bq コマンドのドキュメントを読む https://cloud.google.com/bigquery/bq-command-line-tool?hl=ja SDK インスト
BigQueryへCSVファイルをロードする際、どこまで気を利かせてくれるのか - Qiita
はじめに BigQueryへCSVファイルをロードする時、気になるのがCSVファイルのフォーマットやデータの表現形式。 BigQueryが受け付けてくれる形なら問題ないが、出力元システムによって特有の方言がありうる。 とりあえず思いついたものを自動検出ONでロードしてみて、どうなるか知っておきたい。 col1,col2,col3,col4,col5,col6,col7,col8,col9,col10,col11 null,abc,文字列１,"カンマ,がある",12345,1.2345,20180101,2018-01-01,2018/01/01,2018-01-01 23:59:59,2018/01/01 23:59:59 ,def,文字列２,"カンマ,がある",67890,6.7890,20180201,2018-02-01,2018/02/01,2018-01-01 23:59:59,
Google BigQueryの新機能 Standard SQLまとめ - ZOZO TECH BLOG
こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしているので、使い勝手や従来のSQLからの移行方法についてまとめておきます。 Standard SQLとは SQL:2011に準拠しつつ、配列や構造体等の構造化データを扱えるように拡張されたSQLです。 Standard SQLの登場によって、以前からあったSQLはLegacy SQLと呼ばれるよ
BigQuery vs Athena vs RedShift vs Hive - Qiita
オブジェクトストレージの料金 お金は大事ですね． まずはストレージの料金から比べます． 料金は各種操作にかかりますが，特にドミナントなのはストレージ代と転送量だと思うのでこれ以外はめんどくさいのでスルー． 料金系は変動が激しそうなので，まずリンクを貼ります． S3 GCS とりあえず検証時点では，こちらの想定するデータ量で以下の通りでした． (東京リージョン) S3 Storage料金: $0.025 / GB 転送料金: $0.14 / GB GCS Storage料金: $0.023 / GB 転送料金: $0.14 / GB よっぽどデータが大きくない限り大した差にはならないので，決め手にはならないでしょう． 後日談の方でも少し述べますが，ストレージの機能としては若干S3の方が優れている気がしたので，若干高いのもまぁ妥当だと思います． 料金 こちらもまずはリンクを. Athena R
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
