データ基盤のためのリーダブルSQL

これは何？ 私tenajimaがデータ基盤のパイプラインを作るとき、レビューするときに意識している点を言語化したものです データ基盤を作る上での考え方の一つに役立てていただければ幸いです この記事の前提 dbtを使ったデータ基盤構築を念頭に置いて書いています、dbtの記法が出てきます CTEsが使える環境を想定しています 記事内でデータエンジニアもアナリティクスエンジニアも総称してデータエンジニアと呼んでいます データ基盤を「使う側」のクエリと「作る側」のクエリの違い 最近ではファーストキャリアからデータエンジニアの方も出てきているかもしれませんが、データサイエンティスト、アナリスト、ソフトウェアエンジニアを経験してデータエンジニアを行っている人が一般的と考えています。 特にデータサイエンティスト、アナリストからデータエンジニアへの転向は私の周りでは多いように感じており、その方達は(過去の

[tinsep19]

SQLなくせとは言わないが新しいクエリ言語作ってほしいはあるかな。KustoをRDBMSでとかは難しいのかな？

[tmatsuu]

「サブクエリを使わない」と「import CTEsとFunctional CTEsを分けて書く」はより良いインデックスが選択されないor効率が悪い場合があるかも（推測）。CTEの内容が毎回固定になるならビューの作成も検討してみてね。

[jiro_kit]

良い

[ton-boo]

相関サブクエリ……（できるだけ使わないのは同意だけど完全に排除できるものかな）

[atsushifx]

やっぱSQLダメだとなった。別名を分かりやすく、サブクエリを使うなは、先にしておくべき宣言や処理がselect,fromのあとになっているから。どのDBMSにも対応していて、環境に依存しないクエリー言語が出てきてもいい。

[homaju]

dbt