Submitting User Applications with spark-submit | Amazon Web Services
AWS Big Data Blog Submitting User Applications with spark-submit Francisco Oliveira is a consultant with AWS Professional Services Customers starting their big data journey often ask for guidelines on how to submit user applications to Spark running on Amazon EMR. For example, customers ask for guidelines on how to size memory and compute resources available to their applications and the best reso
EMRでのSparkアプリのトラブルシュート - Qiita
概要 EMR（≒YARN）上で動かすSparkアプリケーションを運用していて、エラーが起きた時にどのようにログを追っていくかを記します。 環境 Hadoop: 2.7 Spark: 1.6 EMR: 4.6 エラーの検知 リトライも成功しなかった場合、EMRのコンソールで失敗が表示されると思います。 （ちなみに経験上、実行時間が30s以内でエラーになったらだいたいstepの記載ミス、60s程度で終わってたらアプリのパラメータミスなどによる初期化の失敗などではと思います。） Sparkアプリの実行においては、いくつかエラーとなりうるところがあるので、順番に確認していきます。 なお、全体像はこのようになっています。（clusterモードでの実行の場合） from: https://aws.amazon.com/blogs/big-data/submitting-user-application
AWS Glue データカタログを Spark SQL のメタストアとして使用する - Amazon EMR
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue データカタログを Spark SQL のメタストアとして使用する Amazon EMR リリース 5.8.0 以降を使用して、 AWS Glue データカタログをメタストアとして使用するように Spark SQL を設定できます。永続的なメタストア、またはさまざまなクラスター、サービス、アプリケーション、あるいは AWS アカウントで共有されるメタストアが必要である場合は、この設定をお勧めします。 AWS Glue はフルマネージド型の抽出、変換、ロード (ETL) サービスで、データの分類、クリーニング、強化、さまざまなデータストア間の信頼性の高い移動を簡単かつ費用対効果の高い方法で実現します。 AWS Glue Data Catalog は、A
Spark2.0をEMRで試す - Qiita
概要 一週間前くらいにSpark2.0が出ました。そして、今日確認したらEMR5.0が既にSpark2.0対応されていました。さすがAWSさんです！ ということで、Spark2.0でイマドキのSpark実行を簡単にメモしておきます。 ゴール Spark2.0が動く Scala2.11ビルドしたjarが動く Java8で動く YARN分散環境上で動く EMR設定 Software Configurationにて以下のように設定 emr-5.0.0 hadoop2.7.2 Spark2.0.0 configurationに以下のjsonを追加 Java8の設定と、sparkに最適化する設定を行っています。 [ { "classification": "spark", "properties": { "maximizeResourceAllocation": "true" } }, { "Cla
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
Amazon EMR 2.x および 3.x AMI バージョン - Amazon EMR
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon EMR 2.x および 3.x AMI バージョン AWS は、すべての AWS API エンドポイントの TLS 設定を TLS 1.2 の最小バージョンに更新しています。Amazon EMR リリース 3.10 以前では、TLS 1.0/1.1 接続のみがサポートされています。2023 年 12 月 4 日以降は、Amazon EMR 3.10 以前のバージョンでクラスターを作成できなくなります。 Amazon EMR 3.10 以前を使用している場合は、すぐにワークロードをテストし、最新の Amazon EMR リリースに移行することをお勧めします。詳細については、「AWS Security Blog」を参照してください。 Amazon EMR
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
