SparkでDataFrameを使ってグループごとの累積和・総和を求める方法【Python版】 - Qiita
Sparkのpython版DataFrameのWindow関数を使って、カラムをグルーピング&ソートしつつ、累積和を計算するための方法です。 公式のPython APIドキュメントを調べながら模索した方法なので、もっと良い方法があるかも。 使ったSparkのバージョンは1.5.2です。 サンプル・データ PostgreSQLのテーブルにテスト用データを用意し、pysparkにDataFrameとしてロードします。 $ SPARK_CLASSPATH=postgresql-9.4-1202.jdbc41.jar PYSPARK_DRIVER_PYTHON=ipython pyspark (..snip..) In [1]: df = sqlContext.read.format('jdbc').options(url='jdbc:postgresql://localhost:5432/pos
Hadoop2をJava8で動かしたときにハマった - Qiita
Java 8でHadoopを動かしていたハマった点です。 エラー事象 非力なノートPCで動かすために、各プロセスのヒープサイズを軒並み下げてから実行しようとしたのですが、いつものPi計算MRジョブを実行しようとして以下のエラーにハマリました。 15/09/02 22:49:41 INFO mapreduce.Job: Job job_1441201719441_0001 failed with state FAILED due to: Application application_1441201719441_0001 failed 2 times due to AM Container for appattempt_1441201719441_0001_000002 exited with exitCode: -103 For more detailed output, check ap
ディスク容量が貧弱なYARNクラスタでSparkを動かす際の注意点 - Qiita
Apache SparkをYARN上で動かしていて、気づいたことのメモ。 ディスク容量が非常に小さいサーバをスレーブにしていた時に、ある程度Sparkアプリケーションを実行していると、NodeManagerのUnhealthy化が起きたので調査しました。 NodeManagerのUnhealthyとは YARNでは、各スレーブサーバで動作しているNodeManagerは自身のサーバでYARNコンテナの動作に利用するディスク領域のチェックを定期的に実行しています。パーミッションが適切か、ディスクの空き容量が十分余っているかを確認しており、デフォルトでは90%以上容量を使ってしまっていると、UNHEALTHYという状態であることをResourceManagerに通知し、新しいYARNコンテナの割り当てがされないようにします。 このあたりの仕様はHadoopのドキュメントに書いてあります。 ht
SparkでPostgreSQLデータを扱う - Qiita
話題のApache Sparkでこんなことも出来るという話。Sparkのマニュアルを読んでいて見つけたので、試してみました。試した環境は CentOS 7.1 Apache Spark 1.4.1 PostgreSQL 9.4.4 です。 Apache Spark Sparkの説明は割愛。 高速な分散処理基盤であるApache SparkはHadoopやCassandraといったデータストアだけでなく、RDBMSに格納されたデータを取り出して処理することもできます。 なので、既存のデータを移行せずにSparkの高速処理の恩恵を受けることが出来ます。 PostgreSQLのテーブルをSparkにロード JDBC接続を利用するので、PostgreSQLのJDBC Driverが必要です。 今回はお手軽にspark-shellで操作することにして、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Embulk + pg_bulkloadでPostgreSQLに高速データロード！ - Qiita
