エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Apache Spark でクラスタリングすると動かなくなるプログラムについて - CUBE SUGAR CONTAINER
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Apache Spark でクラスタリングすると動かなくなるプログラムについて - CUBE SUGAR CONTAINER
今回は Apache Spark をスタンドアロンで使っていると上手くいくのに、クラスタリングした途端に上手く... 今回は Apache Spark をスタンドアロンで使っていると上手くいくのに、クラスタリングした途端に上手くいかなくなる状況がある、ということについて。 スタンドアロンなら上手くいく場合 まずは Apache Spark のコマンドラインシェルを起動する。 この場合はシングルノードのスタンドアロンで動かしている。 $ $SPARK_HOME/bin/spark-shell 複数の値が格納された RDD を作る。 scala> val rdd = sc.parallelize(Array(1, 2, 3)) rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at <console>:24 そして、それらに対して foreach() メソッドで println() 関数を適用してみる。 s