データ基盤のためのリーダブルSQL
これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の
SQLのデータリネージツール、SQLLineageを試してみる | フューチャー技術ブログ
はじめにTIG DXユニット真野です。Python連載の2本目です。普段はPython触らないのですが、データリネージという概念に興味をもったのと、それをサポートするためのPytnon製ツールがあったので触ってみます。 データリネージとは DWHのようなデータ基盤を整える上で必要になってくる概念で、保持するデータの発生源や、どのシステムがどう加工して保存されたかと言った流れを追跡できるようにすることです。データのトレーサビリティとも言うかなと思います。追跡可能にすることで、異常データの追跡（要はどこのETL処理で考慮漏れがでたりバグっちゃったのか）や依存関係などを捉えることができます。何かしらの分析にそのデータを利用すべきかどうかの重要な材料になるのは間違いないでしょう。システム開発においての影響度調査などにも便利かもしれませんね。 以下のページなどが参考になるかと思います データ ウェア
ER図 の自動作成を CI に組み込んだ話 - RareJob Tech Blog
塚田です。新人の頃からドキュメントの管理が大の苦手です。 ドキュメントの更新は滞り陳腐化してしまい、必要な時に見直すと使い物にならなかったりします。誰もが経験あるのではないでしょうか。 少しでもその呪縛から解放されるのであれば全力を注ぎたくなる性分なので、 ER図 を自動作成してくれる SchemaSpy を社内で使っている GitLab CI に組み込みました。 今回は SchemaSpy の紹介と、CI に組み込んだ話をしたいと思います。 SchemaSpy とは DBに接続してテーブル構成などをスキャンして、html としてアウトプットしてくれる機能を持っています。 MySQL や PostgreSQL などをサポートしています。 http://schemaspy.org/ CI への組み込み 弊社のCIのパイプラインでは、GitLab に push すると、自動でテストなどが動くよ
今更始める Firebase + BigQueryを使った サクサクデータ分析 - コネヒト開発者ブログ
【DEPRECATED】本稿にある内容は、Firebaes AnaltyicsのBigQuery Exportのスキーマ変更(2018-06)以前の情報を基にしています。 こんにちは、サーバーサイドやっております金城(@o0h_)です。 最近通読した漫画はフットボールネーションです面白いですね・・・もちろん喧嘩稼業（９）も買いました！！！！ よろしくおねがいします。 あどべんと！ この記事は、Connehito Advent Calendarのday-2です！ やっぱりPHPer的には7.2がホットなネタ！？などとも思ったのですが、 @kiyoeshiの温かいUX改善を読んで、私もfumufumuとなりましたので データ分析系のテーマで1本ぶっこんでみます。 ここのところ社内でデータ部分析基盤を整えていこうという動きがり、その流れで話題にした内容になります。 「Firebaseで集めた記録
BigQueryのunnest関数 | 1 Minute Tips
はじめに BigQueryの「大容量のデータを高速でスキャンできる」「従量課金の料金形態」という性質から、テーブル設計をはじめるとRDBMSといろいろ違いがでてくる。 今回は配列をカラムに格納する上で便利なunnest（アンネスト）関数を紹介。 前提 サンプルコードを動かす前に、with関数を使ってメモリー上に試験的に使うデータを保持するようにする。 #standardSQL WITH data AS ( SELECT "primes under 15" AS description, [1,2,3,5,7,11,13] AS primes_array) この時点で #standardSQL WITH data AS ( SELECT "primes under 15" AS description, [1,2,3,5,7,11,13] AS primes_array) SELECT co
「データアーキテクト（データ整備人）を”前向きに”考える会」に参加しました - ★データ解析備忘録★
はじめに 11/27に開催された「データアーキテクト（データ整備人）を”前向きに”考える会」にブログ枠として参加させて頂いたのでイベントの様子をレポートとして書きます。 analytics-and-intelligence.connpass.com 会場: 株式会社オプト 私の現在 ブログで報告するほどのことではなかったのですが、9月に大学院を卒業して10月からとある人材系企業でデータ分析組織の立ち上げに関わっています。 データ分析基盤の構築（データレイク、データウェアハウス）、からデータ分析、データサイエンスの啓蒙活動、（ゆくゆくは事業提案も？）など広く関わっています。 そんなこんなで情報収集も兼ねて今回の勉強会に参加しました。 以下は各発表のサマリーになります。 勉強会趣旨 データエンジニアとアナリストの間には色々仕事があるが評価されないことが多く、つらみが溜まっている つらみの共有で
データ基盤の3分類と進化的データモデリング - 下町柚子黄昏記 by @yuzutas0
この記事は、下書き供養 Advent Calendar 2018 - Adventarの2日目の記事です。 めっちゃ専門的な内容になってしまいました。ごめんなさい。 某Slackでの議論内容をブログに書こうとしたのですが、下書きのまま放置していました。 Wednesday, August 15th と書いてあるので、約半年前の内容となります。 もくじ もくじ はじめに 「データ基盤の3分類」と「（一般的な）技術要素」 1.データレイク（Data Lake） 2.データウェアハウス（Data Warehouse） 3.データマート（Data Mart） 私が考えるデータ基盤の定義 私が考える「あるべき構成」 技術要素を分けるのはアンチパターン 進化的データモデリングを容易にしよう チームとアーキテクチャを選ぶ まとめ 参考 余談 追記 はじめに データ基盤と世間一般で言われるシステムには分類
BQ寿司でデータ基盤をゆるやかに活用する話をしました #bq_sushi - 下町柚子黄昏記 by @yuzutas0
『bq_sushi tokyo #7』に登壇しました。 BigQueryのプロダクトマネージャーである Chad Jennings 氏と、リードエンジニアである Ahmed Ayad 氏がBQについて解説を行うという素晴らしいイベントでした。 スライド 「ゆるやかにBigQuery（データ基盤）を安定活用するプラクティス集」 Shunketsu Oh 氏との共同発表となります。私1人の成果ではなくチームの成果をあくまでも代表してお伝えしているだけです。 PyCon JP 2017でベストトークアワード優秀賞を受賞した発表（構築編）の続き（運用編）です。 主な内容 過去の発表の再掲 データの民主化 データ基盤のサービスレベル データ集計業務へのスタートアップ手法の適用 システム保守運用Tips yuzutas0.hatenablog.com yuzutas0.hatenablog.com 技
sqlparseによるSQLのフォーマット - Qiita
SQLをローカルでフォーマットするツールを探していてsqlparseというツールを見つけたので試してみました。 インストール sqlparseはPython製でpipを使ってインストールすることができます。 ウェブ上で使用する sqlparseはSQLFormatというオンラインサービスで使用されており、ブラウザやAPIでSQLを渡してフォーマットすることができます。 SQLFormat - Online SQL Formatter コマンドラインで使用する sqlparseをインストールすると使用可能になるsqlformatというコマンドに ファイルか標準入力でSQLを入力するとフォーマットされたSQLが出力されます。 -r で改行・インデント、-k upper でキーワードを大文字にすることができます。その他のオプションについては-h オプションで確認することができます。 $ SQL=
PostgreSQLで「あればUPDATE、なければINSERT」のUPSERTをやってみる
facebook オフィス狛 技術部のHammarです。 よくデータベースを操作する処理で、あるキーでデータがあればUPDATE、なければINSERTするーというような場面が多々あると思います。 通常はまずはそのキーで件数をSELECTして、件数が０件ならINSERT処理へ、0件以上ならUPDATE処理へ分岐させるというような感じの処理の流れが、まあよくある感じかなと思います。 じつはこれを１回のクエリで行うことができるのですが、PostgresqlやMysql等でやり方がそれぞれ違います。 今回はPostgresqlでのやり方で、自分が少しハマった部分や注意点も含めて書こうと思います。 ■UPSERT 「データがあればUPDATE、なければINSERTする」という処理はUPSERTと呼ばれています。INSERT（追加）とUPDATE（更新）の両方の機能を併せ持っていることから、UPDAT
【PostgreSQL】レコードが存在すればUPDATE、なければINSERTを1クエリで実現する
昔の記事の関連みたいなもの。 【PostgreSQL】レコードが存在すればUPDATE、なければINSERTをSQL文で実現する 最近っぽいやり方で1クエリで実現する。 ※PostgreSQLのバージョンが9.5以上でないと使えないはず。 環境： PostgreSQL：9.6.3 例として、テーブル定義は下記の状態とする。 # \d guests Table "public.guests" Column | Type | Modifiers ----------+------------------------+----------- name | character varying(255) | email | character varying(255) | not null password | character varying(255) | Indexes: "guests_pk
PostgreSQLでorder byとlimitが含まれたクエリのチューニングを行う - Qiita
はじめに 最近クエリチューニングを行ないました。 その際調べてもMySQLに比べると情報が少ないなと感じたので、メモとして残しておきたいと思いました。 スロークエリ→負荷の高いクエリの特定→検証用の環境でチューニングという流れで行いました。 どんな状況だったか ざっくりとこんなクエリが流れていたのですが、検証用の環境でこのクエリを投げてみたら下記のような感じでした。 1クエリで9秒くらいかかっている・・・ explain analyze select * from target_table where id = 1 and target > 0 and delete_flg = 0 order by date desc limit 10 offset 0; QUERY PLAN --------------------------------------------------------
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Filter partitions in window - computing event recency in BigQuery
データハンドリングのためのSQL / SQL for data handling
postgresでcopyとupdateを使ってレコード移動をする方法 - Qiita
Bulk insert optimisations using raw sql in Golang (mysql/psql) · Ruby China
PostgreSQL multi-value upserts
Update multiple rows in same query using PostgreSQL
データ分析のためのSQL講座 – Arm Treasure Data
PostgreSQLクエリ実行の基礎知識 ～Explainを読み解こう～
