Spark 1.2.0 を Amazon EMRで動かす。 - よしだのブログ

どうも！今年の初エントリーです。今年もよろしくお願い致します。 今回は、Apache Spark 1.2.0 を Amazon EMR で動かしてみることに挑戦しました。Spark ではずっと遊んでいたんですが、MLLib をつかうのが目的だったので開発中はクラスタで動かすひつようもなく、ローカルで動かしていたためイマイチその速さがわかりませんでした。まあ、今後の本番のことを考えると、クラスターでの可動は検証しておく必要があったので、トライしてみました。Amazon EMR で動かしてみた理由は、Hadoop / YARN を立てるのがめんどくさかったので、YARN にも対応したとのことなので、こちらで動かしてみました。結果としては、かなりお手軽に動かすことができるので、おすすめです。 ちなみに、EMR で動かす前に、Spark 1.2.0 に付属している、Spark の スタンドアロンモ

[yoshi0309]

せるくまー