ELTとしてAirbyteを使いMySQLからBigQueryにデータ移送する - QiitaAirbyteでBigQueryにデータ移送 データ分析チームを立ち上げ, データ分析から基盤整備まで取り組むハイボール大好きエンジニアです。 社内のデータ基盤刷新の際にAirbyteを導入したので、こちらでまとめようと思います。 Airbyteとは何か 公式サイト: https://airbyte.com/ OSSのELTツール。有料版もあるが、無料版でもGUIが使え様々なデータソースと接続できる十分な機能が備わっている。 ※AirbyteはDBTと連携しておりETLツールとしても機能できるが今回は、独自のDBTとの接続は行わずデフォルトを使用する。 Airbyteを試してみる 実行環境: airbyte version 0.4.21 こちらにもある通り上のコードを実行することで、airbyteを始めることができる。 docker-composeを実行してからしばらくして上のログが出たら
