SparkのWebUIでモニタリング皆さん こんにちは、GMOアドマーケティングのS.Rです。 SparkのProgramを開発する上で、Performanceの改良やInstanceの設定のTuningはかなり重要です。 これらのチューニングはSparkのWebUIを使えばかなり簡単に制御できます。 そこで、今回はSparkのWebUIを皆さんへ紹介致します。 ※この記事を理解するには、Spark、Hadoop、Linuxのshellコマンドの基本知識が必要です。 １ Sparkとは？ Sparkの概要は以下のWikipediaの記事を参考にして下さい。 Apache Sparkはオープンソースのクラスタコンピューティングフレームワークである。カリフォルニア大学バークレー校のAMPLabで開発されたコードが、管理元のApacheソフトウェア財団に寄贈された。Sparkのインタフェースを使うと、暗黙のデータ並列性と耐故障性を
