Google Cloud Composerをcomposer-1.17.6-airflow-2.1.4にバージョンアップしました - Pepabo Tech Portal
Airflow v2のリリースブログに"Massive Scheduler performance improvements"とあるように、Airflow v2ではスケジューラの性能が大幅に強化されています。 キューに入ったタスクが開始するまで、Airflow v1.10.14では最長で5分ほどかかっていたのですが、v2.1.4に上げたところ数秒に短縮され、全体的なDAG実行時間を短縮することができました。 また、Cloud Composerを構成するコンポーネントのバージョンが全体的に新しくなったことで、それぞれに関連する既知の脆弱性に対応できたことも、バージョンアップによる恩恵のひとつです。 Cloud Composerは、AirflowやGoogle Kubernetes Engine、Google Cloud SQL、そして多くのPyPIパッケージの組み合わせで構成されています。
Apache Airflowでエンドユーザーのための機械学習パイプラインを構築する Part5 (End)
We organized Japanese financial reports to encourage applying NLP techniques to financial analytics. You can download… Part4からずいぶん間が空きましたが、その間にはデータ公開にまつわるもろもろの調整などがあったという。 Airflowを採用しなかった理由最終的にAirflowを採用しなかった理由は2つあります。 運用コスト開発コスト運用コスト Part3でも触れましたが、Airflowのホスティングは結構高くつきます。ホスティングサービスを提供しているのはGCPのCloud ComposerとAstronomerの2つが主です。Astronomerの場合は月額$100まで抑えることが可能ですが、固定で毎月かかるとなるとそこそこの金額です。 スケジューラーは、スケジュー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
