Apache Spark User List - S3NativeFileSystem inefficient implementation when calling sc.textFile
Hello, I'm building a spark app required to read large amounts of log files from s3. I'm doing so in the code by constructing the file list, and passing it to the context as following: val myRDD = sc.textFile("s3n://mybucket/file1, s3n://mybucket/file2, ... , s3n://mybucket/fileN") When running it locally there are no issues, but when running it on the yarn-cluster (running spark 1.1.0, hadoop 2.4
HiveでJSONデータを処理するあれこれ(初級編) - Qiita
{"name":"hoge","age":30,"city":"tokyo"} {"name":"huga","age":41,"city":"chiba"} {"name":"hige","age":26,"city":"kanagawa"} 世の中的にはfluentdで飛んでくるログフォーマットがjsonだったりとかで、json形式で保存されたデータをHiveで集計したいってニーズは沢山あるみたい。例に漏れず当方もしたいので、やり方を調査。 Hiveではいくつかやり方があるみたいなので、それぞれをまとめてみる。 以降のサンプルはjson_tuple, get_json_objectを使う場合のtableは上記のようなjsonが1行1jsonという体で保存されていることとし、下記のように生成されている事とする。
Using Spark with MongoDB
I recently started investigating Apache Spark as a framework for data mining. Spark builds upon Apache Hadoop, and allows a multitude of operations more than map-reduce. It also supports streaming data with iterative algorithms. Since Spark builds upon Hadoop and HDFS, it is compatible with any HDFS data source. Our server uses MongoDB, so we naturally turned to the mongo-hadoop connector, which a
Apache Spark SQL and Drill -- DAG vs. tree execution, value vector vs. Schema RDD format. What are the pros and cons?
Answer: I think that there is no real difference of architecture, but difference of "exposed layers". Drill must have shuffle in some way to support joins, Spark has "Tree aggregate" which can be called "Dremel style aggregation tree". Difference is that Spark has "exposed" execution engine with ...
SparkContextメモ(Hishidama's Apache Spark SparkContext Memo)
概要 SparkContextの生成 SparkConf [/2014-09-15] マスターURL [2014-09-03] SparkContextのメソッド [/2014-09-15] HDFSのローカリティー [2014-09-04] 共有変数 [2014-08-21] 概要 org.apache.spark.SparkContextは、Sparkで操作を行うための主たる入り口。 最初にdriverでSparkContextのインスタンスを作り、そこからRDDを生成することになる。 ちなみに、SparkContextインスタンスの変数名は、Sparkシェルだとsc、Spark Examplesだとsparkになっている。 SparkContextをインポートする際は、org.apache.sparkパッケージに他に色々なクラスがあるので、丸ごとインポートするのが良い。 また、Spa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Write a Spark application - Amazon EMR
