データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介したいと思います。 なお、SQLを使ったデータ基盤の監視自体については私の前職のTech Blogで詳細に書いていますので、そちらを参照してください。 SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog 本エントリはこれをベースに「dbtをフルに活用している10Xの環境向けに入れた監視」や「BigQuer
BigqueryでUNNESTを使いこなせ！クエリ効率１００%！！最強！！
どうも！BIチームの小林です！ 今回は、 BigqueryでUNNESTをうまく使えば、 見やすくてしかも効率が良いクエリを書けるんです！ ということをやっていきたいと思います！ はい。 私の好きなものは Fortnite、RainbowSixSiege、ゲーム配信 です。 当記事は、ゲーム配信だと思って読んでください。 ちなみになんですが、前回2018年のアドベントカレンダーでは、 BigqueryでStandardSQL書くときに使えるTipsをいくつか紹介したので、 「Bigqueryは記法に癖があって難しいよ〜」 「すたんだーどすぃーくえるってなんですか？」 という人は、是非見てください！！ ↓↓
BigQuery の ベストプラクティス 〜 2017年度版 〜 - Qiita
この記事はRetty Inc. Advent Calendar 2017 2日目です。 昨日は @bokeneko さんによる 「うわっ…私のリコメンド、ビール多すぎ…？」doc2vecの拡張とリコメンドシステムへの応用 でした。 ということで、みなさん こんにちは。 RettyでSoftware Engineerをやってます@tkngueです。 Retty においては日々の分析業務〜データサービス開発の範囲で BigQueryが利用されています 僕は使い始めてから、およそ半年というところでBigQueryの知見も溜まってきたところで せっかくなのでベストプラクティスを本稿においてまとめてみたいと思います。 Disclaimer: BigQueryの基本的な構文の説明はしません ( クエリリファレンス を参照ください) Standard SQL を利用した BigQueryの説明です。Le
BigqueryStandardSQLの黒魔術ってなに！？記してみました！
この記事は eureka Advent Calendar 2018 15日目の記事です。 こんにちは。BIチーム小林です。 最近はもっぱらFortniteをメインに、スマブラをたまにやっています。 お昼は機械学習周りをメインに、分析をたまにやっています。 最近はガリガリとクエリを書くこともなくなってきたので、備忘録を兼ねて、かつて習得した黒魔術、もといStandardSQLの便利な記法を記しておきます。 ただし、主旨としては、SQLを使ってこんな便利なことができるんだぜ、こんな計算までできちゃうんだぜ、というよりは、こんなん書くのめんどくさいからこう書いちゃおうや、という記事です。 氷魔法 : 定数化TEMP FUNCTION を使って何回か使いそうなものは定数化BigqueryStandardSQLでは、クエリの中に一時的なUDF (ユーザーが定義した関数) を書くことができます。 これ
Introduction to optimizing query performance | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. This document provides an overview of optimization techniques that can improve query performance in BigQuery. In general, queries that do less work perform better. They run faster and consume fewer resources, which can result in lower costs and fewer failures. Query performance Evaluating query per
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
