FastAPIを使っていなくても、Pydanticは便利です
AuthorsTwitter@__Attsun__Published onMonday, September 6, 2021 Aboutpydantic 単体でも利用可能な便利な機能についてご紹介します。 pydantic とは公式ドキュメント の冒頭には以下のような記載があります。 Data validation and settings management using python type annotations. python の型アノテーションを使った、データバリデーションと設定管理のライブラリ、ですね。 基本的な使い方このあとの話を理解するのに必要な、基本となる機能をさらっと紹介します。 モデルの定義pydantic では、クラスを使ってモデルを定義します。 各フィールドには型が必要です。 from datetime import datetime from typing i
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus)
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) ウェブ API の作成など、外部からやってくるデータを安全に捌く上で、スキーマ定義とバリデーションは非常に重要です。 また、特に Python のような動的型付け言語において、内部でもレイヤをまたぐ場合はきちんと定義されたデータモデルを利用することで、知らない間にデータモデルが変わっていた、というようなケースを防ぐことができます。 Python には標準でスキーマバリデーションライブラリがないため 3rd パーティのものを使うことになりますが、様々なライブラリがあるので比較してみました。 比較対象のライブラリ概要※Python バージョンは 3.9.0 を利用します。 lib versionGithub Star (202
Ubie Discovery における、Data Engineer と他データ基盤系職種の関係
AuthorsTwitter@__Attsun__Published onMonday, March 20, 2023 この記事について私が現在所属する Ubie Discovery（以下 UD）で働く Data Engineer の視点で、他データ職種との関わりや違いについて書きました。 カジュアル面談など社外の方とお話する中で、以下のような質問が頻出するため記事としてまとめてみようと思った次第です。 Analytics Engineer と Data Engineer の違いは？Data Engineer は実際、どのような業務をしているの？技術的にはどのようなスタックで仕事をすることがあるの？TL;DRUbie Discovery には、Data Engineer, Analytics Engineer, ML Engineer といったデータ職種がありますData Engineer
dbtとDataformを比較し、dbtを使うことにした
AuthorsTwitter@__Attsun__Published onWednesday, February 10, 2021 最近、業務で DWH / Datamart の整備やデータ品質の担保を効率的に行いたくなる事情があり、調査したところ dbt と Dataform がツールとして有力そうだったので、比較してみました。 TL;DRdbt は機能が充実しており、カスタマイズするポイントも多く様々な要件に対応できそうです。反面、理解し使いこなすための学習コストがかかります。Dataform は Web ビューによる開発体験が非常に良いです。機能もほとんどはわかりやすく、迷うことも少ないです。一方、dbt に比較して融通はききづらいです。どちらも十分な機能は備えている素晴らしいツールだと感じるので、どちらが良いかは要求や組織の置かれた状況次第でしょう。私の所属する会社 (Ubie,
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bq_sushi #17 にて、「Data Management by dbt」という発表をしました。