冪等性を担保したGoogle Cloud Composerの設計と実装
こんにちは！ 2022年2月からLuupにデータエンジニアとしてジョインした河野(@matako1124) です！ 元々マイクロモビリティに興味があり、データ基盤もこれからきっちり作っていきたいという0からのフェーズで、お声がけをいただけたことに感謝です。 現在、Luupのデータチームの構成は、Data Strategy部の中にData EngineeringチームとData Scienceチームの２つがある形となっています。 Data Engineeringチームとしては前回の記事執筆者@t-kurimuraと私の二人で取り組んでいます！ ということで、まだ入社数ヶ月の私ですが、Luupでのデータ基盤としてGoogle Cloud Composerを導入し、どのように冪等性を担保した設計にしようとしているかご紹介していきたいと思います。 注意 記事執筆から半年ほど経過しており、現在の最新
Google Cloud Composer FAQ
参考までに、アイオワ (us-central) の金額は下記。 Composer 本体Web $0.074 x 24時間 x 31日 x 2台 = $110.112Database $0.125 x 24時間 x 31日 x 2台 = $186Web and database storage $0.273 x 20GB = $5.46Network egress $0.156 x とりあえず0 = $0WorkerGCE インスタンス n1-standard-1 $24.2725 x 3ノード = $72.8175永続ディスク $0.040 x 100GB x 3 ノード = $12$110.112 + $186 + $5.46 + $72.8175 + $12 = $386.38 Q. 高くない? 何かいい方法はない? 高い！！！ 単体でも高いが、開発・ステージング・本番と 3環境作ると
Cloud Composer Tips - Qiita
皆さんこんにちは。@best_not_bestです。 今年はCloud Composerを利用することが多かったため、そこで得たTipsをまとめたいと思います。 なお、以下記載のコードはPython 3での動作を想定しております。 サポート対象のPythonバージョン 2.7.15と3.6.6となります。 https://cloud.google.com/composer/docs/concepts/python-version タスク失敗時のロギング/Monitoring検知 タスクが失敗した時のロギングへのログの落ち方がなかなか分かりにくいです。 AirflowExceptionをraiseするタスクを用意し、これを各タスクの後にone_failedで実行させ、この時のメッセージを検知するのがシンプルかなと思います。 サンプルプログラム #!/usr/bin/env python #
Cloud Composer を使ったワークフロー開発に便利なコマンドまとめ - Qiita
Web UI からポチポチしていると日が暮れるのでコマンドラインから開発できるように調べたまとめ デプロイ gcloud composer environments storage {dags,plugins} import を使ってファイルをアップロードする。うちではディレクトリ構造を合わせて作って以下のようにデプロイしている。 不便なことに {dags,plugins} ディレクトリを丸ごとアップロードすることができず、--source でサブディレクトリを指定しないといけないため、find | xargs でサブディレクトリ一覧を作ってから import している。 find "composer/dags" -maxdepth 1 -mindepth 1 | xargs -t -P4 -I{} \ gcloud composer environments storage dags i
Airflow Study #1 「Airflowの内部構造と動かし方を理解する」で LT してきました | DevelopersIO
こんにちは、みかみです。 2021/06/23(水) にオンライン開催された、株式会社ナウキャスト様主催の勉強会 Airflow Study #1 「Airflowの内部構造と動かし方を理解する」 にて、「Airflow のアーキテクチャをざっくり学んで�Google Cloud Composer で�マネージド環境をつくって動かしてみた。」というタイトルで LT させていただいてきました。 スライド まとめ（所感） データ分析基盤で Airflow を利用しているケースも多々あるのではないかと思いますが、ネット上などで Airflow に関する情報を探すと、特に日本語の情報は意外と少ない印象です。。 そんな中、Airflow 一色の本イベントでは、ご参加者様からのコメント含めて興味深いお話をたくさんお聞きすることができました。 特に Airflow 1系から2系への以降ガイドなど、実際の
Google Cloud でデータ ワークロードをオーケストレート | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 6 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 データと分析の核心は、データから分析情報を引き出すことにより、影響力のある意思決定を行えるようにすることです。データの有用性を追求するために、往々にしてデータ サイエンティストやエンジニアには、データの取り込み、処理、分析を行うエンドツーエンドのワークフローを構築するという業務が課せられます。 これらのワークフローには通常、特定の順序で実行する必要のある複数のタスクまたはサービスが含まれます。それでは、タスクの実行が正常に完了したかどうか、いつ完了したかを知るにはどうすればいいでしょうか。また、ワークフローのサービスが失敗するとどうなるのでしょう。ワークロードの規模が大きく複雑になるにつれて、こうした疑問はより差し迫ったものになり、解決が難しくなることが想像できます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
