はじめに EMR上で、SparkをYarn-clusterで動かしていると、「Exception in thread "main" org.apache.spark.SparkException: Application finished with failed status...」などと抽象的なエラーが出て、苛立つことがあるかと思います。 まあ、Masterノード上では「なんかエラー吐いた」ってことしかわからなくて、詳細は実際にそれ実行したノードで見てねって話なんですけど。 その辺の細かい情報、Yarn上で実行したアプリケーションのstdout, stderrなどは、EMRクラスタ上のMasterノードにホストされている、HadoopのResource Manegerからリンクをたどっていけば見れるわけですが、lynxでターミナル上でそれを見るのは正直苦行ですね。。。 あと、Gangli
8. AWS EMR 概要: HadoopクラスタをSaaSとして提供してくれるサービス ほぼ最新のHadoop / Spark / Ganglia / Hiveなどが使えて便利 http://docs.aws.amazon.com//ElasticMapReduce/latest/ReleaseGuide/emr-release-components.html インスタンスタイプも調整可。パラメータ調整済み http://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/emr-hadoop-daemons.html AWSに乗っかれる(CLIツール・権限制御 etc...) →とりあえず試す環境としては最適だと思っています。 (Google Cloud Dataprocは試してない)
2. 2 Amazon EMR – 2016年のアップデート • 1⽉: EMR 4.3.0 – Spark, Presto, Ganglia • 3⽉: EMR 4.4.0 – Sqoop, HCatalog, Java 8, 他 • 4⽉: EMR 4.5.0 – Hadoop, Presto, SparkとEMRFS追加 • 4⽉: EMR 4.6.0 – 巨⼤データへのリアルタイムアクセス⽤ に、Hbase • 6⽉: EMR 4.7.0 – Apache Tez, Apache Phoenix, Presto, HBase, Mahout • 8⽉: EMR 5.0.0 - メジャーアップデート! https://aws.amazon.com/jp/blogs/news/amazon-emr-5-0-0-major-app-updates-ui- improvements-bet
はじめに ほとんどのデータをS3に突っ込んでいる場合、アドホックな分析であったり統計モデル作成をしたりする際に、適当にバケットまるっとロードしてSparkSQLでクエリなげたりMlibに突っ込むというのは割りとよくあることかと思います。 EMRでSparkを動かす際に、これまではYARNに対応しているBootstrap Actionが無かったので設定がだるかったのですが、awslabsがYARN対応のbootstrap actionsを出しているのでそれを試してみます。 http://blogs.aws.amazon.com/bigdata/post/TxO6EHTHQALSIB/Getting-Started-with-Amazon-EMR-Bootstrap-Actions https://github.com/awslabs/emr-bootstrap-actions/tree/ma
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者: 関山 宜孝 (Amazon Web Services Japan) 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く