Submitting User Applications with spark-submit | Amazon Web Services
AWS Big Data Blog Submitting User Applications with spark-submit Francisco Oliveira is a consultant with AWS Professional Services Customers starting their big data journey often ask for guidelines on how to submit user applications to Spark running on Amazon EMR. For example, customers ask for guidelines on how to size memory and compute resources available to their applications and the best reso
EMRでのSparkアプリのトラブルシュート - Qiita
概要 EMR（≒YARN）上で動かすSparkアプリケーションを運用していて、エラーが起きた時にどのようにログを追っていくかを記します。 環境 Hadoop: 2.7 Spark: 1.6 EMR: 4.6 エラーの検知 リトライも成功しなかった場合、EMRのコンソールで失敗が表示されると思います。 （ちなみに経験上、実行時間が30s以内でエラーになったらだいたいstepの記載ミス、60s程度で終わってたらアプリのパラメータミスなどによる初期化の失敗などではと思います。） Sparkアプリの実行においては、いくつかエラーとなりうるところがあるので、順番に確認していきます。 なお、全体像はこのようになっています。（clusterモードでの実行の場合） from: https://aws.amazon.com/blogs/big-data/submitting-user-application
EMRのログをS3/Localから追う - Qiita
概要 諸事情でYARNやSparkのWebUIがすぐに見れない、でもEMRのStepがなんか失敗しているのでログを見たい！というときにS3から見る方法。 というかEMRのログで作られる各中身の確認 前提 emr-4.7 Spark 1.6 Hadoop 2.7 ログ出力先にS3の任意のフォルダを指定。 ログディレクトリの構成 cluster EMR clusterはそれぞれIDを持ちます。（例： j-2540JQ2HFN027 ） containers 各Hadoopアプリケーションにおいて、分散環境上に複数のコンテナが立てられます。 各アプリケーションはIDを持ちます。（例： application_10000032000_0001 ） 各コンテナはIDを持ちます。applicationのIDにコンテナ用の通し番号が付いた文字列になります。（例： container_1000003200
AWS Glue データカタログを Spark SQL のメタストアとして使用する - Amazon EMR
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue データカタログを Spark SQL のメタストアとして使用する Amazon EMR リリース 5.8.0 以降を使用して、 AWS Glue データカタログをメタストアとして使用するように Spark SQL を設定できます。永続的なメタストア、またはさまざまなクラスター、サービス、アプリケーション、あるいは AWS アカウントで共有されるメタストアが必要である場合は、この設定をお勧めします。 AWS Glue はフルマネージド型の抽出、変換、ロード (ETL) サービスで、データの分類、クリーニング、強化、さまざまなデータストア間の信頼性の高い移動を簡単かつ費用対効果の高い方法で実現します。 AWS Glue Data Catalog は、A
Spark2.0をEMRで試す - Qiita
概要 一週間前くらいにSpark2.0が出ました。そして、今日確認したらEMR5.0が既にSpark2.0対応されていました。さすがAWSさんです！ ということで、Spark2.0でイマドキのSpark実行を簡単にメモしておきます。 ゴール Spark2.0が動く Scala2.11ビルドしたjarが動く Java8で動く YARN分散環境上で動く EMR設定 Software Configurationにて以下のように設定 emr-5.0.0 hadoop2.7.2 Spark2.0.0 configurationに以下のjsonを追加 Java8の設定と、sparkに最適化する設定を行っています。 [ { "classification": "spark", "properties": { "maximizeResourceAllocation": "true" } }, { "Cla
An approach to controlling logging on Amazon Web Services’ (AWS) Elastic MapReduce (EMR)
Intro I have been using the Elastic MapReduce (EMR) product. EMR is one of many products and services available from Amazon Web Services (AWS). EMR is AWS’s product to dynamically provision a Hadoop cluster. One problem I ran into was how to control logging. Hadoop uses Apache Commons Logging. Both Hadoop and AWS seem to encourage using Log4j as the actual logging implementation. This blog assumes
AWS EMRメモ(Hishidama's Amazon Elastic MapReduce Memo)
S-JIS[2013-06-15/2014-01-25] 変更履歴 Amazon EMR EMRは、AWSでHadoopを実行できるサービス。 概要 EMR（Elastic MapReduce）は、Hadoopを実行できるサービス。 EMRでは、1つのHadoopクラスターをEMRインスタンスと呼ぶ。 EMRインスタンスはEC2インスタンスを何台も使ってHadoopクラスターを組む。 使用する際にEMRインスタンスを起動し、使い終わったら削除するのが基本的な使い方。 （使うときだけ大量のサーバーを使用する、まさにクラウドらしいサービス） データは（HDFS上に永続的に保存するのではなく、）S3から読み込み、S3上に保存するのが基本。 したがって、NameNodeの冗長性はEMRでは必要ない。 （物理サーバーのHadoopクラスターの場合、NameNodeをずっと起動し続けている（あるいは毎
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
create-cluster — AWS CLI 1.32.11 Command Reference
Feedback Did you find this page useful? Do you have a suggestion to improve the documentation? Give us feedback. If you would like to suggest an improvement or fix for the AWS CLI, check out our contributing guide on GitHub. User Guide First time using the AWS CLI? See the User Guide for help getting started. Note: You are viewing the documentation for an older major version of the AWS CLI (versio
Amazon EMR 2.x および 3.x AMI バージョン - Amazon EMR
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon EMR 2.x および 3.x AMI バージョン AWS は、すべての AWS API エンドポイントの TLS 設定を TLS 1.2 の最小バージョンに更新しています。Amazon EMR リリース 3.10 以前では、TLS 1.0/1.1 接続のみがサポートされています。2023 年 12 月 4 日以降は、Amazon EMR 3.10 以前のバージョンでクラスターを作成できなくなります。 Amazon EMR 3.10 以前を使用している場合は、すぐにワークロードをテストし、最新の Amazon EMR リリースに移行することをお勧めします。詳細については、「AWS Security Blog」を参照してください。 Amazon EMR
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみる![[JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/bb30f0fa279c778d2052b6b4b6a54a5b8056f08b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fdljawsbigdata11clouderaonawsamazonemr3-180207013607-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
asakusafw-sandbox/docs/ja/source/administration/asakusa-on-emr.rst at master · asakusafw/asakusafw-sandbox