データエンジニアリングで活用するPydantic - ITANDI Engineer Blog

エンジニアの長部です。社内の分析用データ基盤構築の傍ら、物件連動基盤のリアーキテクチャや新規機能に関わる開発・設計に携わっています。 イタンジでは大量で多様な物件データを用いたETL処理を行っていますが、その信頼性向上のため行っている工夫の一つとして、Pydanticを利用したモデルベースのバリデーションについて紹介します。 イタンジにおける物件連動基盤とは イタンジでは様々な経路で入力された物件情報を社内の物件情報基盤に取り込み、それを組み合わせたり加工した上で、社が運営するサービスで利用したり、必要に応じてさらに外部のシステムに出稿したりといったことを行っています。 イタンジ社内における物件連動システムの位置づけ データ環境としての特色は、「社外から様々なフォーマットのデータが送られてくる」「物理的なファイル生成・取り込みが多い」ということです。 昨今のデータ基盤のトレンドに乗ってウェ

[sh19910711]

"Pydantic: 型注釈を利用してデータの検証を行うためのPython製のライブラリ / FastAPIで採用されているためWebバックエンドでは広く活用 + データ処理の品質担保にも効果的に活用することができます"