SparkContextメモ(Hishidama's Apache Spark SparkContext Memo)
概要 SparkContextの生成 SparkConf [/2014-09-15] マスターURL [2014-09-03] SparkContextのメソッド [/2014-09-15] HDFSのローカリティー [2014-09-04] 共有変数 [2014-08-21] 概要 org.apache.spark.SparkContextは、Sparkで操作を行うための主たる入り口。 最初にdriverでSparkContextのインスタンスを作り、そこからRDDを生成することになる。 ちなみに、SparkContextインスタンスの変数名は、Sparkシェルだとsc、Spark Examplesだとsparkになっている。 SparkContextをインポートする際は、org.apache.sparkパッケージに他に色々なクラスがあるので、丸ごとインポートするのが良い。 また、Spa
Linux上でネットワーク回線速度を計測する手段について整理してみた | DevelopersIO
ちょっとした小ネタです。 ネットワーク環境調査に於いてネットワークの『回線速度を調べたい』という局面があるかと思いますが、Windows環境ではブラウザ経由で簡単に結果が得られる一方、Linux環境では『あれ、そもそも何が出来る／どうやれば出来るんだろう？』と少々思案してしまいました。情報を幾つか漁ってみたところ、Linux環境でも回線速度状況を把握する術が幾つかある事が分かりましたので備忘録的に整理しておこうと思います。 目次 環境準備 Speedtest-cli iperf dstat ping まとめ 環境準備 当エントリではAmazon Linux AMIを使った環境で回線速度を調べる環境が必要になった場合、という状況を想定してみたいと思います。直近最新のAmazon Linux AMIで環境を構築し、yumコマンドでパッケージ各種を最新の状態に整えておきます。 $ sudo yu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
低品質の勧め
