Hadoopを使ったログ分析システムにおける開発、デプロイのフローについて - wyukawa's diaryHadoopを使ったログ分析システムっていうのを何回か経験してて、そういえば開発、デプロイのフローがあんまりうまく回せなかったよなあと思ったのでそのあたりについて今日は書きたいと思います。 まずネットワーク周りの前提から書きます。 サーバーにログインするには踏み台を経由しなければなりません。 なので、まあ例えばHadoopクラスタを構築してて、betaとrealの2つ環境があったら以下のようにログインすることになります。まあよくある話ですよね。 ローカルPC -> 踏み台 -> beta環境 ローカルPC -> 踏み台 -> real環境 でもってローカルPCとbeta,real環境との間の通信は制限されています。これもよくあるパターンだと思います。 beta,real環境からインターネットに出れない場合なんかは、ローカルPCからインターネットにアクセスしてtar ballとかrpmを持っ
