こんにちは、技術部開発基盤グループの小室 (id:hogelog) です。 みんなのウェディングは OSS となった Kuroko2 を早速導入したので、その Kuroko2 の導入方法をブログにて共有します。 何故 Kuroko2 を導入したか みんなのウェディングではジョブ管理ツールとして主に Rundeck を利用していました。汎用のジョブ管理ツールとして開発されている Rundeck は非常に多機能で様々な処理を柔軟に実行できます。雑多なバッチ処理が稼働していたみんなのウェディングのシステムを一つのジョブ管理ツールに集約させるには非常に便利なものでした。 しかし運用を続けるうちにいくつかの難点が見つかってきました。 スケジュール実行がいきなり過去のジョブ定義に巻き戻る（ことが稀にある） https://github.com/rundeck/rundeck/issues/1447 M

こんにちは、shota_suzukiです。 最近『Apache Spark』を色々なプロジェクトで使う機会が増えてきたので、Sparkの基本から紹介いたします。 Apache Sparkについて Apache Sparkはざっくり言ってしまうと、「ビッグデータを処理するためソフトウェア」です。ビッグデータに対する分散処理基盤としては、長らくHadoopが使われてきたことと思います。 しかし、Hadoopの特にMapReduceには苦手な処理もあり、その分野に対する解決策としてSparkがここ数年で相当注目されるようになってきました。 MapReduceでは中間データが毎回ディスクに書き出されるのですが、データの量が多かったりして処理が多段になってくると、ここのコストが無視できなくなってきます。 Sparkでは、中間データをディスクに書き出さず、メモリ上に持っているので、この点ではMapRe