bq commandのscheduled query操作メモ - Qiita
$ bq ls --transfer_config --transfer_location=us name displayName dataSourceId state ----------------------------------------------------------------------------------------- ------------------------------------------------ ----------------- ----------- projects/000000000000/locations/us/transferConfigs/00000000-0000-0000-0000-000000000000 my_scheduled_query scheduled_query SUCCEEDED $ bq show --f
Execute Immediate and other new user-friendly SQL capabilities in BigQuery | Google Cloud Blog
October happens to be the month to celebrate World Smile Day when Harvey Ball, the inventor of the smiley face declared this day as such to give people a reason to smile. This month, BigQuery users have a lot of new reasons to smile about with the release of new user-friendly SQL capabilities now generally available. New table operations commands BigQuery users can now use table-level operations t
IntelliJ系(DataGrip含む)でBigQueryに接続する方法 - Qiita
注意 注: この記事の内容は古いです。IntelliJのバージョンが2021.1以上の人は以下の方法で接続したほうが良いです。 IntelliJ便利ですよね。 JavaのIDEとして有名ですが、その他にも様々な言語のIDEとしても使えますし、さらにはDBクライアントとしても優秀です。 対応しているDBの種類が豊富ですし、機能もリッチです。 ですが、BigQueryにはデフォルトで対応していないので、そこだけちょっと惜しいです。 この記事ではIntelliJ系のIDEからBigQueryに接続する方法を説明します。 参考にした手法とその問題点 IntelliJ BigQuery でGoogle検索すると以下の記事が最初に見つかります。 https://blog.jetbrains.com/datagrip/2018/07/10/using-bigquery-from-intellij-bas
お手軽なDataflow処理をScioの「Type Safe BigQuery」を使って作ってみる - Qiita
本記事はFringe81アドベントカレンダー2018の3日目の投稿です。 昨年に続きScioを使ったDataflowの処理について書きます！ Scio、Dataflowとは？ ScioはApacheBeamおよびDataflowのScala版APIです。 音楽配信サービスで有名なSpotifyが主導で開発しています。 DataflowはApacheBeamをGoogleCloudPlatform上で実行できるサービスです。 付加機能も充実していて本家のJava版より簡潔に実装、実行できるためオススメです。 なぜDataflow？？ 個人的には、ある程度〜大規模のデータ処理はGCPのBigQueryで処理するのが最強だと思っています。 しかし、SQL一発で欲しいデータを抽出するのが難しい時もあり、SQLで出すため中間テーブルをいくつも経由したり、 一旦中間ファイルに落としてから別の仕組みで処
データと歩んだ 10 年間を祝して: BigQuery 10 周年 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 5 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: これまで 10 年間以上にわたり BigQuery の構築に携わってきたチームメンバーの一部からメッセージが届いています。Jeremy Condit、Dan Delorey、Sudhir Hasbe、Felipe Hoffa、Chad Jennings、Jing Jing Long、Mosha Pasumansky、Tino Tereshko、William Vambenepe、Alicia Williams に感謝の意を表します。 今月、Google のクラウド データ ウェアハウスである BigQuery が 10 周年を迎えました。Google 内部のプロダクトとしての草創期から、情報に基づくビジネス上の意思決定に役立つペタバイト規模のデータ ウェアハ
BigQuery 最新情報: 効率的なマテリアライズド ビューと Cloud AI の統合 | Google Cloud 公式ブログ
※この投稿は米国時間 2020 年 5 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。 BigQuery は、Google Cloud が提供するペタバイト規模のデータ ウェアハウスです。データを素早く取り込んで分析でき、高い可用性を備えているため、新たな分析情報を得て傾向を把握し、予測を立てて、効率的なビジネス運営に役立てることができます。BigQuery のエンジニアリング チームは、皆様にさらに便利にお使いいただけるよう機能の改善を継続的に行っています。最近追加された機能には、新しいマテリアライズド ビュー、列レベルのセキュリティ、BigQuery ML の追加機能があります。 ここでは、これらの新機能の詳細と、クエリの高速化やアクセス制御の追加、そしてイノベーションへの注力を可能にするための方法をご紹介します。 BigQuery マテリアライズド ビ
Scale cloud data warehouse up and down quickly | Google Cloud Blog
Introducing BigQuery Flex Slots for unparalleled flexibility and control Organizations of all sizes look to BigQuery to meet their growing analytics needs. We hear that customers value BigQuery’s radically innovative architecture, serverless delivery model, and integrated advanced capabilities in machine learning, real-time analytics, and business intelligence. To help you balance explosive demand
BigQuery での機械学習用にデータ変換を簡素化 | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 12 月 5 日に、Google Cloud blog に投稿されたものの抄訳です。 構造化データ上で機械学習モデルを構築するには、通常、大量のデータを変換する必要があります。さらに、こうした変換は予測時に適用する必要もあるため、モデルのトレーニングを担当したデータ サイエンス チームではなく、データ エンジニアリング チームが担当する場合が少なくありません。この 2 つのチームで使用するツールセットが異なると、トレーニングと推論で一貫した変換を維持することは極めて難しくなります。そこで、単純な SQL 関数を使ってデータを前処理して変換できる、BigQuery ML の新機能をご紹介します。また、BigQuery は予測時点でこうした変換を自動的に適用するので、ML モデルの本稼働を大きく簡易化できます。 調査的なデータ マイニングに関する 2003
Data transformation, preprocessing available in BigQuery ML | Google Cloud Blog
Simplified data transformations for machine learning in BigQuery Building machine learning models on structured data commonly requires a large number of data transformations in order to be successful. Furthermore, those transformations also need to be applied at the time of predictions, usually by a different data engineering team than the data science team that trained those models. Keeping the s
Scripting and stored procedures now in BigQuery | Google Cloud Blog
Command and control now easier in BigQuery with scripting and stored procedures We hear from our customers that you’re big fans of our BigQuery data warehouse and its features: the ability to handle massive datasets, the petabyte-scale performance, and the ability to create and execute machine learning models in SQL. We also know that you have complex tasks that you execute in your BigQuery enviro
メッセージ配信について | Firebase Cloud Messaging
フィードバックを送信 メッセージ配信について コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 FCM には、メッセージ配信の分析に役立つ 3 つのツールセットが用意されています。 Firebase コンソールのメッセージ配信レポート Firebase Cloud Messaging Data API が提供する集計済みの Android SDK 配信指標 Google BigQuery への包括的なデータ エクスポート このページで説明するすべてのレポートツールについて、その動作には Google アナリティクスが必要です。プロジェクトで Google アナリティクスが有効になっていない場合は、Firebase プロジェクト設定の [統合] タブで設定できます。 アナリティクス データをバッチ処理するため、このページの多くの統計情報はレポートに反映されるま
Firebase と BigQuery の連携をするとおいくらかかりそうか雑に試算してみた｜mohya
どうも、ファームノートでエンジニアをしている永沼です。この記事はFarmnote Advent Calendar 2018の2日目です。 最近モバイルアプリを作る機会があり Firebase に入門中です。やっていきー。 Firebase では Analytics データを BigQuery と連携させることができるのですが、実のところおいくらくらいかかりそうか不安だなぁということがありましたので試算してみました、という話です。 TL;DR・Firebase の BigQuery 連携でおいくらくらいかかりそうか試算してみた ・Firebase 側は無料と思われる ・BigQuery はある程度レコードが溜まった状態で $2 / 月以下の試算結果背景モバイルアプリに Firebase を導入すると、Firebase 向け Google Analytics によりログ分析を気軽に行うことがで
BigQuery におけるコスト最適化の ベスト プラクティス | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 9 月 25 日に Cloud Blog に 投稿されたものの抄訳です。 あらゆる業務のデータが各所に分散する今日の状況において、データ ウェアハウスの運営、管理は厄介で手間のかかる作業となりがちです。こうしたデータの急激な増加に対応してシステムをスケーリングし、日々の運用を維持することは、これまでになく大きな課題となっています。課題はそれだけではありません。データ ウェアハウスをアップグレードするときにダウンタイムをできるだけ短くする、ML や AI に向けた取り組みを支えてビジネスニーズに応えるなどの必要にも迫られています。Google Cloud のサーバーレス、エンタープライズ向けデータ ウェアハウスである BigQuery は、インフラ管理に手間を取られず分析作業に集中できるという点が評価され、数々の企業に導入されています。 BigQuery
BigQuery のクラスタリングで メンテナンスの手間を省いて クエリを高速化 | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 8 月 24 日に Google Cloud blog に投稿されたものの抄訳です。 BigQuery は、Google が提供するサーバーレス データ ウェアハウスです。BigQuery を使用すると、エンタープライズ クラスのデータ ウェアハウスの設定や管理に伴う、手間のかかる複雑な作業の大半を自動化できます。必要なメンテナンス作業があれば、ユーザーに代わって自動で行うというのが BigQuery の哲学です。 BigQuery を最大限に活用するための重要なベスト プラクティスの 1 つが、テーブルのパーティショニングとクラスタリングです。本ブログでは、クラスタ化テーブルが BigQuery 内部でどのように機能しているかについて説明します。また、従来のデータ ウェアハウジングの問題を透過的に修正できる自動再クラスタリングについても解説します。これ
Cost optimization best practices for BigQuery | Google Cloud Blog
Cloud cost optimization: principles for lasting successLearn organizational principles that can help you run your cloud environment efficiently and cost effectively. By Justin Lerma • 11-minute read Understanding the basics of pricing in BigQueryLet’s look at the pricing for BigQuery, then explore each billing subcategory to offer tips to reduce your BigQuery spending. For any location, the BigQue
GCP BigQuery 応用編 ~制限について~ - 自称フルスタックエンジニアのぶろぐ。
入門編はこちら murabo.hatenablog.com 制限 詳細はオフィシャルのこちらを参照してください。 気をつけるものをピックアップして記載します。 標準テーブル 1 日あたりの最大テーブル オペレーション数 - 1,000 1テーブルに対して、 読み込みジョブ、コピージョブ、クエリジョブ を組み合わせた合計数となります。 分割テーブル 分割テーブルとは、取り込んだ日、または指定した日付カラムを元に、デイリー毎にテーブルが分割されます。 分割テーブルあたりの最大パーティション数 - 4,000 4000日分まで保有することができる 1 つのジョブで変更される最大パーティション数 - 2,000 ジョブ オペレーション（クエリまたは読み込み）ごとに対象にできるパーティションは最大 2,000 です。2,000 を超えるパーティションを対象とするクエリまたは読み込みジョブは、Goog
BigQuery Scheduled Queries まとめ - Qiita
初めに BigQueryのScheduled Queriesに関して、自分用にまとめる 目次 そもそもScheduled Queriesってなんぞ Scheduled Queriesの初め方 各設定項目 Schedule 設定確認 Manual Runs クエリパラメータ 0. そもそもScheduled Queriesってなんぞ BigQuery上にて、クエリを定期的に実行して結果をテーブルに納めていくもの。 定期実行が失敗しても Manual Runs を使用して過去分を復旧することができる。 個人的にはデータポータルに表示するデータ類の中間テーブル作成用で使用中。 1. Scheduled Queriesの初め方 旧WEB-UIにて [New Query] テキスト ボックスが出ている状態で[Show Options]の一つ左にある Schedule Query ボタンを押すだけ。
BigQuery partitioning with Beam streams
If you’ve been using Google BigQuery you know how fast it can crunch through massive amounts of data in record time. It’s one of GCP’s most mature products and is a window into your business data for engineers and also less technical people. If you know SQL you can work with BigQuery. This article assumes that your are knowledgable around BigQuery and Apache Beam (Cloud Dataflow) But what about th
Dataflowでデータに応じてBigQueryのテーブルを振り分け - Qiita
Google Cloud Dataflowでは、パイプラインを分岐することでデータを複数の場所に出力できます。しかし、この方法では事前に出力先が決まっていなければならず、例えば「データ内で指定された任意のBigQueryテーブルへ出力」みたいなことはできません（多分）。そのような動的な出力振り分けを実現する方法を探していたところ、汎用的なものとして DynamicDestinations というクラスを利用すればいいことが分かりました。 本記事ではこの DynamicDestinations を用いた方法および簡略化された方法の2通りでテーブル振り分けを試してみます。 サンプル構成 今回は出力のみ興味があるので、余計なデータ処理を挟まず「Pub/Subから取得したテキストをそのままBigQueryに保存する」ことをします。ただし、通常の単一テーブルへの出力と比較できるよう、パイプラインを分
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloud data warehouse BigQuery powers analytics | Google Cloud Blog