Amazon Managed Workflows for Apache Airflowの構築
概要 Airflowのマネージドサービスは今までGCP上でCloud Composer(以下、composer)を使うのみでしたが、AWSでもAmazon Managed Workflows for Apache Airflow（以下、MWAA）の検証機会があったので操作ログを残しました。 composerと比較してどのような違いがあるかについても記載しています。 ## 環境の作成 Airflowのバージョン 2021年11月17日時点で以下の二つでした。2.1系の対応が待たれます 2.0.2 1.10.12 DAGを格納するS3バケット composerでは自動的に作成されますが、MWAAでは別途作成しておく必要があります。 依存環境のインストール S3バケットを指定したのちに、requirements.txtのパスを指定して、作成後に配置するとインストールができます 環境のスペック選定
GKE上にAirflowを構築してIAPによるアクセス制御を行う
GKE autopilot編はこちら モチベーション マネージドAirflow(Cloud ComposerとかMWAA)は高いから自前で作って運用出来ないものか 想定している読者 上記のモチベーションに共感できる kubectlちょっと出来る GCPちょっと出来る helmちょっと出来る 事前準備 ドメインの取得 今回はGoogle Domainsにて取得した momota.dev を使用します Cloud DNSゾーンの作成 まず、DNSゾーンを作成します。 作成するとNSレコードが自動で作成されているので、そこに記載されているネームサーバーを、登録したドメインレジストラのカスタムネームサーバーに登録して更新をします カスタムネームサーバーの登録(Google Domainsの場合) このネームサーバーの変更が反映されるまでに最大48時間ほどかかるようなので事前にしておくと良いです。
入門 Airflow
概要 Airflowを触ったことがない人が業務にスッと入れるようにするための知識として社内のチームメンバー向けに書いてたのですが、インターネットに出せる形に調整して公開してみることにしました。 ちなみにv.1.0.0ぐらいのノリなので今後も必要に応じて更新していく予定です（ドキュメント自体も30分ぐらいで一気に書いたこともあり荒削り感は否めません） また、だいぶ前に勉強会向けに作成した資料もここに貼っておきます。 Airflowについて Airflowとは 一言で言うと「ワークフローエンジン」です。 Pythonでワークフローを実装し、その実行をスケジューリングやモニタリングを通じて管理くれるプラットフォームとなっています。 公式サイトからの引用 Airflow is a platform created by the community to programmatically autho
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
