dbtのテンプレートSQLをJinja2テンプレートで大量生成する話 〜クラシコム様での事例〜 - KAYAC Engineers' Blog
この記事はdbt Advent Calendar 2023の5日目です。 こんにちは、その他事業部SREチーム所属の@mashiikeです。 カヤックは様々な事業・プロジェクトを展開しておりますが、その一つとして『北欧、暮らしの道具店』を運営する株式会社クラシコムとの協業プロジェクトがあります。 www.kayac.com こちらのプロジェクトでは2019年より継続して、クラシコム様のデータ基盤の構築・運用のサポートの一部を行っております。 その中で、troccoのdbt連携機能を用いて、データの変換を実装しております。1 今回の記事は、同プロジェクトの中で行われた一風変わったdbtの活用例の紹介になります。 内容の関係上、予めLookerの用語と概念を知っていると読みやすいと思います。 cloud.google.com 背景 クラシコム様のデータ分析基盤では、ビジネスインテリジェンスにL
AirflowでJinjaテンプレートを使ってSQLを実行する - 株式会社ライトコード
こんにちは、普段は分析基盤や分析のお仕事をしている新田です。 この記事では、AirflowでJinjaテンプレートを活用したSQLクエリを動的に生成し、BigQueryでそのクエリを実行する方法をまとめます。 JinjaはPythonのテンプレートエンジンで、HTMLを動的に生成するために使われることが多いですが、SQLでも「大体同じなのに少し違うクエリ」が複数あるようなときに大活躍しますよ。 AirflowでJinjaテンプレートを使う方法 AirflowはなんとデフォルトでJinjaテンプレートエンジンをサポートしています。 特に何もしなくてもDAGでJinjaのプレースホルダや変数をタスクのパラメータやクエリ内で直接使用することができます。 また、Operatorに引数を渡すことで渡した引数を埋め込むことができます。 SQLのテンプレートファイルを作成する まずは、SQLファイルを作
テンプレートエンジンを使ってSQLを書く環境を作ってみた | takemikami's note
Web界隈ではaltjsやscssのファイル更新を監視して自動コンパイルするのが一般的になってきていると思いますが。 このエントリでは、そういった方法を真似て、SQLをテンプレートエンジンを利用して書いて、自動的に変換する環境を作ってみることにします。 データ界隈の人はpython使う人が多そうなので、pythonで以下のモジュールを使った環境を作ることにします。 ファイル監視はwatchdogテンプレートエンジンはmakoエディタはatomでlanguage-atomプラグインを利用watchdog: https://pypi.python.org/pypi/watchdog mako: http://www.makotemplates.org/ Mako 1.0.4 Documentation » Syntax: http://docs.makotemplates.org/en/lat
Pytorch Template 個人的ベストプラクティス（解説付き） - Qiita
はじめに Pytorchでコードを書き始めるとき、乱数固定やデータローダー、モデルの訓練や学習結果の取得等、毎度色々なサイトを参照するのは面倒だと思い、現時点の個人的ベストプラクティス・テンプレートを作成してみました。 今後のバージョンアップや便利なライブラリの登場で変わるかもしれませんげ、現在はこれで落ち着いています。 個人的な備忘録も兼ねて、前半に簡単な解説付きのコードと最後に全コードを載せています。 もっと便利な書き方やライブラリなどあれば、コメントいただけると嬉しいです。 テンプレート（解説付き） 1. ライブラリインポートと初期設定 torchやよく利用するライブラリ(numpy, matplotlib)のインポート モデルの訓練時（for文）の進捗を表示するtqdmライブラリ（jupyter notebookとコマンドライン版） 進捗表示は待ち時間の見積もりやエラーに気づくこと
Advanced SQL Templates In Python with JinjaSql
In A Simple Approach To Templated SQL Queries In Python, I introduced the basics of SQL templates in Python using JinjaSql. This post further demonstrates the power of Jinja2 within JinjaSql templates using presets, loops, and custom functions. Let’s consider an everyday use case when we have a table with some dimensions and some numerical values, and we want to find some metrics for a given dimen
Use a Flask Blueprint to Architect Your Applications – Real Python
Flask is a very popular web application framework that leaves almost all design and architecture decisions up to the developer. In this tutorial, you’ll learn how a Flask Blueprint, or Blueprint for short, can help you structure your Flask application by grouping its functionality into reusable components. In this tutorial, you’ll learn: What Flask Blueprints are and how they work How to create an
Pythonのテンプレートエンジン比較 — 株式会社CMSコミュニケーションズ
最近、Plone Foundation より Advisory Board Members に指名された寺田です。Advisory Boardについては別途エントリーにし報告します。 Python Webアドベントカレンダーの20日目のエントリーとなります。Python製のテンプレートエンジンについて簡単に比較をしたいと思います。 ZPT http://zpt.sourceforge.net/ Chameleon http://chameleon.repoze.org/ Genshi http://genshi.edgewall.org/ jinja2 http://jinja.pocoo.org/ mako http://www.makotemplates.org/ (並び順は私の使用経験に基づくものです) ZPT: Zope Page Template Zope標準のテンプレートエンジ
TokuLog 改め だまってコードを書けよハゲ - 有名なテンプレートエンジン
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
