Spark の driver で起きたエラーとその対応 - astamuse Labはじめまして山縣です。 私のチームでは弊社のサービスやコンサルティングなどで必要となる特許やその他さまざまなデータを収集・解析しています。特許情報などのデータはデータサイズとして大規模であったり複雑だったりすることもあり Hadoop なども含めたいろいろなミドルウェア・ツールを使っています。 そこで私の記事ではそういった業務に活用しているツールについて書いていきたいと思います。 今回は Spark についてです。(なお Spark が何かなどの解説はいたるところにあると思うので省略します。) 弊社でのSparkの導入は去年の春くらいからはじまりました。はじめは試験的に使っていましたが徐々に利用範囲を広げ、今ではデータの処理には欠かせないものとなっています。 弊社には Cloudera社のCDHを使った Hadoopクラスタがあり、Spark はそのクラスタのYARN上で稼働しています。Y
