AirbyteでBigQueryにデータ移送 データ分析チームを立ち上げ, データ分析から基盤整備まで取り組むハイボール大好きエンジニアです。 社内のデータ基盤刷新の際にAirbyteを導入したので、こちらでまとめようと思います。 Airbyteとは何か 公式サイト: https://airbyte.com/ OSSのELTツール。有料版もあるが、無料版でもGUIが使え様々なデータソースと接続できる十分な機能が備わっている。 ※AirbyteはDBTと連携しておりETLツールとしても機能できるが今回は、独自のDBTとの接続は行わずデフォルトを使用する。 Airbyteを試してみる 実行環境: airbyte version 0.4.21 こちらにもある通り上のコードを実行することで、airbyteを始めることができる。 docker-composeを実行してからしばらくして上のログが出たら
![ELTとしてAirbyteを使いMySQLからBigQueryにデータ移送する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ea1fd192ab21573055551db43bf6b04e3aafda9b/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RUxUJUUzJTgxJUE4JUUzJTgxJTk3JUUzJTgxJUE2QWlyYnl0ZSVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSU4NE15U1FMJUUzJTgxJThCJUUzJTgyJTg5QmlnUXVlcnklRTMlODElQUIlRTMlODMlODclRTMlODMlQkMlRTMlODIlQkYlRTclQTclQkIlRTklODAlODElRTMlODElOTklRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTEzMzI1ZjUxYjJhNjcxNjVkNmQwOGY4ODk0ODg0YzAw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBud2phdGllJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0zNmEyOWZkY2NmMmUyNGVkNDc2MTVkMzRkOTY2NzhjZA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Ddd40d125666831bc81abfff53ef20542)