HiveとImpalaにワークフロースケジューラーを入れてみた（前編） - CyberZ公式エンジニアブログ
こんにちは、CyberZのエンジニアの遠藤です。 もうすっかり秋めいてきたので、温泉に行きたい今日このごろです。 さて、今回は社内にあるデータ分析用基盤のHadoop環境にワークフロースケジューラーを導入したので、前編と後編に分けてCyberZでの導入事例を書きたいと思います。 弊社ではさまざまなデータの分析やレポートデータの集計にHadoopを利用しています。 主に、HiveとImpalaを用いており、日次や週次、月次で集計バッチを回していました。 これまで、特にワークフロースケジューラーは導入しておらず、Jenkinsを利用してバッチの管理や実行を制御していました。 しかし、Jenkinsではジョブ間の依存関係の制御が難しく、集計バッチを増やす際の追加が若干面倒であったり、障害等で集計が失敗したときのリトライ制御が難しいなど、運用上の問題や負担がいくつかありました。 2015年の夏頃に
「指示待ち人間」はなぜ生まれるのか？
shinshinohara @ShinShinohara 「指示待ち人間ばかり、自分の頭で考えて動かない」という嘆きの声をよく聞く。不思議なことに私の研究室には指示待ち人間は一人もいない。パートの女性３名も他の研究室がうらやむほど優秀。９年連続で私のところに来た学生もことごとく自分の頭で考えて行動する。指示待ち、なんのこと？という感じ。 shinshinohara @ShinShinohara たぶん私がテキパキ指示を出せない人間なので、そのうち周囲があきれて、自分の頭で考え出すからだろう。私は自分のことさえ心もとなく、パートの方に「今日、お客さんじゃなかったですか？」と念を押されて思い出すこともしばしば。スケジュール管理まで進んでやってもらっている。実に助かる。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
