TAG : Airflow | Cloud Composer | GCP | Kubernetes | MLOps | Refeed | tech | Tech & Science AUTHOR : ギックス POSTED : 2020.02.10 09:06 GKE を効率的に使うために 弊社の機械学習基盤では、ワークフロー管理ツールとして Cloud Composer (Airflow) を利用しており、機械学習タスクは別の Google Kubernetes Engine (以下、 GKE) クラスタ上で実行する構成を取っています。 GKE では複数の node pool を定義できるため、予め用途に応じた複数の node pool を用意しておくことで、タスクに応じた環境の割当てを容易に実現することができます。(現在は β版の提供に留まっていますが、GKE 側で利用リソースに
![Cloud Composer と GKE を活用して機械学習のワークフローを構築する - GiXo Ltd.](https://cdn-ak-scissors.b.st-hatena.com/image/square/d3ed9a3f89a1cd62f38088a11b5ab249b638a0e5/height=288;version=1;width=512/https%3A%2F%2Fbst-image.imgix.net%2Fprod-gixo%2Fcontent%2Fuploads%2F2020%2F02%2Ftitle_MLOps.png%3Fauto%3Dcompress%252Cformat%26ixlib%3Dphp-3.3.0)