うわっ･･･先月のコスト、低すぎ･･･？Hadoopクラスタのクラウド移行とSparkオンデマンド - astamuse Lab

福田です。 ゆっくりとカモミールを飲みながらラップトップを叩いています。 3年間お世話になったデータセンターのHadoopクラスタをクラウド環境に移行しました。 クラウドでは従量課金を活かしてコストの最適化を図ることができます。 今回、Cloudera ManagerとJenkinsそれぞれのAPIを使用し、クラスタの起動状態を保証するラッパーと自動停止サイクルを実装することで、透過的なクラスタの起動と停止を実現しました。 *1 アーキテクチャ 全てを包むWraps 作業環境となるホストに、ラッパーコマンド（以下Wraps）をインストールします。 *2 Wrapsは、状況に応じてJenkins、Cloudera ManagerのAPIを呼び出し、VMインスタンスおよびCDHクラスタの起動状態を保証します。 また、後述する停止サイクルに対して使用中であることを通知するロックファイルの作成と削

[rx7]

クラウドに移行したので、こんな感じでコスト最適化に向けて取り組んでおります。

[yojishiraki]

タイトルｗ