wlbhiroのブックマーク - はてなブックマーク

wlbhiro id:wlbhiro

ブックマーク / apache-spark-user-list.1001560.n3.nabble.com (7)

Apache Spark User List - Spark Streaming - How to write RDD's in same directory ?
wlbhiro 2016/12/30
HDFS

Compression
リンク
Apache Spark User List - How to change default storage levels
wlbhiro 2016/07/21
Spark

StorageLevel

persist
リンク
Apache Spark User List - What's the lifecycle of an rdd? Can I control it?
wlbhiro 2016/06/22
Spark

persist
リンク
Apache Spark User List - Setting spark.executor.memory problem
I wanted to make simple Spark app running in local mode with 2g
wlbhiro 2015/05/28
Spark をローカルで実行する場合、spark-env.shを変えてもメモリ量は変更されない。 spark-shell --driver-memory 4g (割り当てた量の倍とすること。) Sparkのデフォルトメモリ量は、256MB

Spark

Memory

Java
リンク
Apache Spark User List - Parsing a large XML file using Spark
wlbhiro 2015/05/21
SparkでXMLをパースする方法。

Spark
リンク
Apache Spark User List - Kafka Streaming - Error Could not compute split
wlbhiro 2014/12/01
block-input not found・・・などが表示された場合は、memory fractionを上げれば良いらしい。(未検証)

Spark
リンク
Apache Spark User List - Spark Streaming using Flume body size limitation
wlbhiro 2014/12/01
Flume-ng read Bug

Flume-ng
リンク
1

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx