GKEでAirflow環境構築 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに GKE（Kubernetes）とAirflowの勉強もかねて、GKEでAirflowの環境を構築します。 （ここをかなり参考にしてます。） Cloud Composerを使わないのか？ ※2019/4/16時点 GCPではAirflowのマネージドサービスであるCloud Composerというサービスがあり、 がっつりComposerでジョブ管理していくのであればぜひComposerを使いたい。 が、スモールスタートするには月数万円とそれなりのコストがかかるので まずはGKEで半マネージドな感じでやってみます。 ちなみに、G
Airflow における CeleryExecutor - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに このエントリーでは Airflow の Executor のうち CeleryExecutor の概要について扱います Airflow 1.10.2 の CeleryExecutor では当稿執筆現在依存性の問題が発生しています Airflow では以下のように指定されています celery>=4.1.1, <4.2.0 Celery 4.1.1 では以下のように指定されています redis>=2.10.5, kombu >= 4.0.2 kombu の最新版である 4.4.0 では以下のように指定されています redis>=
Airflow - データパイプラインのスケジュールと監視をプログラムしてみた - Qiita
Airflowを導入するとcronのバッチ処理でエラーが起きてログファイルを漁った結果、Log出力が甘くて原因特定できないぐぬぬぬぬもうやだまじつらい、みたいなことが仕組みで防げるようになります。 Airflowってご存知でしょうか？ Airbnb社がオープンソースで公開しているデータパイプラインのスケジュールとモニタリングツールです。簡単に言うとジョブツリーを構築できる高機能なcron。Python2系で開発されていてpip install可能なオープンソースのソフトウェアです。AWSが年1で開催している大規模イベントre:Invent 2015で複数の会社がAirflowを利用していると発表し注目を集めました。Yahooの発表を読んで興味を持ちました。この記事はAirflowをプロジェクトに導入すべきか検討、検証したメモです。 ■ プロジェクトの解析タスクをAirflowに乗せてみた
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
