Google Kubernetes Engine での Dataproc | Dataproc ドキュメント | Google Cloud
フィードバックを送信 Google Kubernetes Engine での Dataproc コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 フィードバックを送信 特に記載のない限り、このページのコンテンツはクリエイティブ・コモンズの表示 4.0 ライセンスにより使用許諾されます。コードサンプルは Apache 2.0 ライセンスにより使用許諾されます。詳しくは、Google Developers サイトのポリシーをご覧ください。Java は Oracle および関連会社の登録商標です。 最終更新日 2023-08-14 UTC。 ��˪U @�EʪU @}�˪U
Submitting User Applications with spark-submit | Amazon Web Services
AWS Big Data Blog Submitting User Applications with spark-submit Francisco Oliveira is a consultant with AWS Professional Services Customers starting their big data journey often ask for guidelines on how to submit user applications to Spark running on Amazon EMR. For example, customers ask for guidelines on how to size memory and compute resources available to their applications and the best reso
EMRでのSparkアプリのトラブルシュート - Qiita
概要 EMR（≒YARN）上で動かすSparkアプリケーションを運用していて、エラーが起きた時にどのようにログを追っていくかを記します。 環境 Hadoop: 2.7 Spark: 1.6 EMR: 4.6 エラーの検知 リトライも成功しなかった場合、EMRのコンソールで失敗が表示されると思います。 （ちなみに経験上、実行時間が30s以内でエラーになったらだいたいstepの記載ミス、60s程度で終わってたらアプリのパラメータミスなどによる初期化の失敗などではと思います。） Sparkアプリの実行においては、いくつかエラーとなりうるところがあるので、順番に確認していきます。 なお、全体像はこのようになっています。（clusterモードでの実行の場合） from: https://aws.amazon.com/blogs/big-data/submitting-user-application
チュートリアル公開 : Apache Spark を Kubernetes Engine でネイティブに実行 | Google Cloud 公式ブログ
オープンソースのクラスタ コンピューティング フレームワークである Apache Spark は、特に金融やメディア、ヘルスケア、小売りといった業種において、大規模なデータ処理や機械学習のプラットフォームとして人気の高いプロダクトです。 この Apache Spark を Kubernetes とネイティブに連携させるべく、Google Cloud は 1 年間にわたってその取り組みをリードしてきました。2016 年 12 月に小規模なオープンソース イニシアチブとしてスタートしたこのプロジェクトは拡大を続け、両者の連携を維持しサポートする活発なコミュニティを育んでいます。 Apache Spark のバージョン 2.3 にはネイティブの Kubernetes サポートが含まれており、ユーザーは Kubernetes の名前空間とクォータによるマルチテナンシーや共有に加え、プラガブルな認可
Running Spark on Kubernetes - Spark 2.3.0 Documentation
Running Spark on Kubernetes Prerequisites How it works Submitting Applications to Kubernetes Docker Images Cluster Mode Dependency Management Using Remote Dependencies Secret Management Introspection and Debugging Accessing Logs Accessing Driver UI Debugging Kubernetes Features Namespaces RBAC Client Mode Future Work Configuration Spark Properties Spark can run on clusters managed by Kubernetes. T
Apache Spark on Kubernetesの検証 - Qiita
Apache Spark on Kubernetes とは Apache Spark(以下、Spark)は、v2.3.0よりKubernetesをNativeサポートしました。これまで、管理者により事前に用意されたSpark/Hadoopと、それに割り当てられたコンピュートリソースを使って並列計算を実行していました。今回のNativeサポートでは、Kubernetesを管理する管理者がSpark用のPod(コンテナ)をあらかじめ準備する必要はありません。Kubernetes環境さえあれば、Spark用に用意されたコンピュートリソースを気にせずに実行することが可能となります。 大まかな実行の流れとしては、SparkのユーザがSparkのCLI(spark-submitコマンド)を実行すると、KubernetesのAPI Serverを通じ、SchedulerにてSparkを実行するコンピュー
SparkInternalsで知る、Sparkの内部構造概要（概要/Logical Plan） - Qiita
はじめに こんにちは。 この記事はApache Spark Advent Calendar 2015の19日目の記事です。 Sparkを使うにあたって困る点 Sparkを使っている皆さんなら実感しつつあると思いますが、Sparkには困った点もあります。 とりあえずサンプルを動かすだけ、であればそれほど苦労することは無いのですが、実際に大規模データを用いて使用し出すと、下記のような問題が頻発します。 適切なチューニングが施されていないとスピードが出ない 一部のコンポーネントはそもそも動かない（特にMLlib） 問題が発生した時、どこで発生したかがぱっとはわかりにくい そのため、ある程度内部構造か、チューニングの勘所をおさえておかないと苦労することになります。 優れてはいるんですが、その分ピーキーなフレームワーク、というのがMapReduceと比べた私の印象です。 そんなわけで、Sparkの内
Introduction · The Internals of Apache Spark
$ docker run -u $UID --privileged -v `pwd`:/antora --rm -t antora/antora antora-playbook.yml // alternatively and recommended $ docker run --entrypoint ash --privileged -v `pwd`:/antora --rm -it antora/antora // Inside the container /antora # antora version 2.2.0 /antora # antora local-antora-playbook.yml // On your local computer (outside the container) $ open .out/local/index.html
AWS Glue データカタログを Spark SQL のメタストアとして使用する - Amazon EMR
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS Glue データカタログを Spark SQL のメタストアとして使用する Amazon EMR リリース 5.8.0 以降を使用して、 AWS Glue データカタログをメタストアとして使用するように Spark SQL を設定できます。永続的なメタストア、またはさまざまなクラスター、サービス、アプリケーション、あるいは AWS アカウントで共有されるメタストアが必要である場合は、この設定をお勧めします。 AWS Glue はフルマネージド型の抽出、変換、ロード (ETL) サービスで、データの分類、クリーニング、強化、さまざまなデータストア間の信頼性の高い移動を簡単かつ費用対効果の高い方法で実現します。 AWS Glue Data Catalog は、A
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
KafkaとSparkを組み合わせたリアルタイム分析基盤をアーキテクチャの視点で見ていきます。Read less
Spark2.0をEMRで試す - Qiita
概要 一週間前くらいにSpark2.0が出ました。そして、今日確認したらEMR5.0が既にSpark2.0対応されていました。さすがAWSさんです！ ということで、Spark2.0でイマドキのSpark実行を簡単にメモしておきます。 ゴール Spark2.0が動く Scala2.11ビルドしたjarが動く Java8で動く YARN分散環境上で動く EMR設定 Software Configurationにて以下のように設定 emr-5.0.0 hadoop2.7.2 Spark2.0.0 configurationに以下のjsonを追加 Java8の設定と、sparkに最適化する設定を行っています。 [ { "classification": "spark", "properties": { "maximizeResourceAllocation": "true" } }, { "Cla
Running TeraSort MapReduce Benchmark – All Help & Support
Please be advised our License Portal will be undergoing maintenance between March 15 10:30pm PST - March 16th 9:00am PST during which time users may experience intermittent performance issues. We apologize for the inconvenience. Please be advised that the Broadcom ERP system will be undergoing maintenance between March 28 7pm PST - Apr 1 7pm PST which will impact all new customer accounts created
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Event time processing in Apache Spark and Apache Flink
ASF JIRA
Why Spark RDD is invariant in T?
JIRA
Spark MLlibではじめるスケーラブルな機械学習
Gmane -- Mail To News And Back Again
Running Spark on YARN - Spark 1.4.1 Documentation
How do I handle a task not serializable exception?