BigQueryのアクセス制御と権限設計を解説 - G-gen Tech Blog
G-genの杉村です。BigQuery への認証・認可は Cloud IAM によって制御されますが、その仕組みは複雑です。当記事では、仕組みを詳細に解説します。 はじめに BigQuery と認証・認可 IAM の基本概念 BigQuery 関連の IAM 権限の理解 ジョブ実行とデータアクセス ジョブ実行権限 データへのアクセス権限 読み取り権限 読み取り権限の検証 書き込み権限 メタデータへのアクセス権限 ロールが持つ IAM 権限 ユースケース別 IAM 設定 BigQuery のデータを含むプロジェクト内の全リソースの閲覧権限を与えたい 設定 説明 深堀り プロジェクトのすべてのデータセットに対する閲覧権限を与えたい 設定 説明 特定のデータセットにだけ閲覧・編集権限を与えたい 設定 説明 特定のプロジェクトの BigQuery 全体管理者 設定 説明 その他のユースケース はじ
【BigQuery】bqコマンド チートシート - Qiita
はじめに チームでBigQueryをシステムに導入しようとなり、本格的に向き合うことになりそうなので一通りbqコマンドを触ってみようと思います。 以前書いた記事では、レガシーな使い方をしていたりしたのでアップデートしたいと思います。 【BigQuery】知っておくと便利なbqコマンドのオプション【GCP】【bq】 チートシート 前提として下記の情報を使っています。 データセット名：data_qiita サービスアカウント名：test@[Project名].iam.gserviceaccount.com 暗号鍵名：projects/[Project名]/locations/asia-northeast1/keyRings/[KeyRing名]/cryptoKeys/[Key名] ロケーション：asia-northeast1 bqの省略
Operators | BigQuery | Google Cloud
Stay organized with collections Save and categorize content based on your preferences. GoogleSQL for BigQuery supports operators. Operators are represented by special characters or keywords; they don't use function call syntax. An operator manipulates any number of data inputs, also called operands, and returns a result. Common conventions: Unless otherwise specified, all operators return NULL whe
BigQueryでJsonカラム内の配列を集計するSQL - Qiita
SQLでは扱いJSON型の文字列ですが、BQではJSON関数、UNNEST関数、UDFを組み合わせて使うことでクエリ一本で配列内の集計も出来ます。 テーブル例 テーブル名 : order_table {"user_id":1,"order_items":[{"item_id":"A","name":"みかん","price":"80","quantity":2,"order_date":"2017-01-01"},{"item_id":"B","name":"りんご","price":"100","quantity":1,"order_date":"2017-02-01"},{"item_id":"C","name":"水素水","price":"300","quantity":2,"order_date":"2017-04-01"}]} order_id order_detail
BigQuery内のデータをグラフ化（可視化）してSlackへの投稿を自動化する方法 - Qiita
こちらの記事は Google Cloud Platform Advent Calendar 2017 の 4日目への投稿になります。 みなさん、毎日GCP使ってますか？ わたしは最近あまりさわれていません。。こんにちは。chidakiyoです。 先日 GCPUG にて、 GCPでNoAdmした話 という内容で発表させていただきました。 資料の中で詳細はQiitaで書きます、と言っていたのでその記事になります。 前提 エンジニアという仕事をしていると、毎日何かしらのデータの確認など定点観測を行っていると思います。 毎日決まったSQLを投げてコツコツ確認するということを頑張れる人もいると思いますが、私は技術は自分がラクをするために使いたい派なので、毎日朝起きたら見たい情報がきれいなグラフになってSlack投稿されている状態が嬉しいです。 今回は、サービス運営にあたって、BigQueryへデータ
メルペイにおける大規模バッチ処理 | メルカリエンジニアリング
この記事は MERPAY TECH OPENNESS MONTH の 13日目の記事です。 こんにちは、メルペイ ソフトウェアエンジニアの laughngman7743 です。 メルペイではマイクロサービスにおけるデータストアのデータや、アプリケーションのログを有効活用できるような基盤づくりをデータプラットフォームチームとして行っています。 データプラットフォームではラムダアーキテクチャに基づき、スピードレイヤとして Cloud PubSub と Cloud Dataflow を利用した仕組みに加え、バッチレイヤとして Cloud Composer と Cloud Dataflow を利用した仕組みを構築しています。 この記事ではバッチレイヤのアーキテクチャについてご紹介します。 スピードレイヤのアーキテクチャについては 「GCPでStreamなデータパイプライン始めました」 を参照くださ
Use the legacy streaming API | BigQuery | Google Cloud
Stay organized with collections Save and categorize content based on your preferences. This document describes how to stream data into BigQuery by using the legacy tabledata.insertAll method. For new projects, we recommend using the BigQuery Storage Write API instead of the tabledata.insertAll method. The Storage Write API has lower pricing and more robust features, including exactly-once delivery
【k8s合宿】 Kubernetesのログ分析環境を作る - Uzabase for Engineers
こんにちは、SPEEDAのSREチームでエンジニアをしている阿南です。SPEEDAのSREチームでは、昨年末kubernetesについて理解を深めるために合宿を行いました。やり方はA〜Cの３チームに分けて、それぞれのチームでkubernetesに関することを調査、構築するという形式で、今回はAチームが実際にやってみた内容についてブログを書きたいと思います。（それぞれのチームでかなりボリュームがあるので、複数回に渡って連載的な形でお届けしたいと思います。） Aチームでは、kubernetesを本番環境に投入するにあたり、ログ収集周りをあまり調査できてないなと感じ、GCP上に環境を作ってみることにしました。 構築する環境 構築手順 クラスター構築 wordpress + MySQL構築 Fluentdイメージの作成 ConfigMap設定 DaemonSet設定 まとめ お知らせ 構築する環境
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作
「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2023 年の BigQuery 権限管理
BigQueryで10分ごとに集計するSQL - Qiita
BigQuery で無からリレーションを出現させる（StandardSQL 編） - Qiita
BigQuery が Google Drive と統合
AimingStudy 9 「BigQueryを利用したKPI集計ツールや、共通基盤システムの話」 - 資料一覧 - connpass