ペパボのデータ基盤『Bigfoot』におけるAirbyteの本番運用 - Pepabo Tech Portal
技術部データ基盤チームに所属しているまつもとです。ペパボではGoogle Cloud Platform(以下 GCP)をメインで利用した社内データ活用基盤「Bigfoot」を開発・運用しています。BigfootはBigQueryによるデータウェアハウス・データマートを各部署へ提供することが大きな役割となっています。BigQueryへのETLはGCPのワークフローオーケストレーションサービスであるCloud Composerによって構成しています。データのExtractとLoadは基本的にEmbulkとStitchを利用していますが、対応していないデータソースについてはPythonでExtractとLoadのコードを個別に実装しています。 新たなデータソースに対応するために都度ETLを実装するのは非効率であるため、最近急速に対応データソースの数を増やしているOSSのETLシステム Airby
【ETL】GUIがあるOSSのAirbyteについて調べてみる
Airbyteとは OSSのETLツールでGUIも提供している。 データ取得元はMySQL、Salesforce、Marketo、Google Analyticsなど デフォルトである程度のコネクタが用意されている。 データ配置先もBigqueryやsnowfrakeなどのクラウドDWH系にも接続も可能。 有償版も存在する。 特徴 ツール自体が、dockerのコンテナとして稼働する。 未対応のコネクタなどは、カスタムコネクタとして自ら作成可能。 コネクタはすべて個別のdockerコンテナとして取り扱われる。 ETLの流れ Extract(抽出)→Load(読込)→Transform(変換)の流れ。 データ配置先の形式に合わせるためのデータ変換は最後に実施する。 コネクタ種類 以下にデフォルトで対応。 結構豊富。 データ取得元コネクタ Amazon Seller Partner Amp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
