技術部データ基盤チームに所属している@tosh2230です。 2023年後半から、ELTツールであるAirbyte Self-Managed(Community)版を本格的に活用していくことにしました。実行環境やその運用を一新しましたので、かいつまんでご紹介します。 Airbyteに期待する役割 データ転送対象 Airbyte Self-Managed or Airbyte Cloud 実行環境の構築 Kubernetes,Helm,Kustomize マニフェストファイルの生成 Helm chartカスタマイズの具体例 設定情報の管理 Terraform Octavia CLIからの方針転換 環境分離 設定情報の変更 開発環境での検証と本番環境への反映 実行環境を再構築して得たもの バージョンアップのしやすさ 気軽にデータソースを追加できる安心感 属人化の解消(予定)と技術スタックの統一
![Airbyte実行環境をKubernetesとTerraformで再構築して得たもの - Pepabo Tech Portal](https://cdn-ak-scissors.b.st-hatena.com/image/square/96ce53fc7aa7c1c7f7f90f0ecaf8c29621cda38d/height=288;version=1;width=512/https%3A%2F%2Ftech.pepabo.com%2Fimages%2Fogpimage.png)