Kubernetes上のSpark：YuniKornによるギャングスケジューリング
by WeiWei Yang, Wilfred Spiegelenburg, Kinga Marton この記事は、2022/5/5に公開された「Spark on Kubernetes – Gang Scheduling with YuniKorn」の翻訳です。 Apache YuniKorn (Incubating) は 0.10.0 をリリースしました。(リリースはこちら) 今回のリリースでは、「Gang Scheduling (ギャングスケジューリング)」と呼ばれる新機能が利用できるようになりました。ギャングスケジューリング機能を活用することで、Kubernetes 上の Spark ジョブのスケジューリングがより効率的になります。 Apache YuniKorn (Incubating) とは何か Apache YuniKorn (Incubating) は、Kubernetes
Kubernetes上のApache Spark：Apache YuniKorn (Incubating) の仕組み
by Sunil Govindan, WeiWei Yang, Wangda Tan, Wilfred Spiegelenburg この記事は、2020/10/14に公開された「Apache Spark on Kubernetes: How Apache YuniKorn (Incubating) helps」の翻訳です。 背景 Apache Spark に K8s を選ぶべき理由 Apache Spark によって、バッチ処理、リアルタイム処理、ストリーム解析、機械学習、インタラクティブクエリを1つのプラットフォームに統合できます。Apache Spark は、多様なユースケースをサポートするために多くの機能を提供する一方で、クラスタ管理者にとっては、さらなる複雑さをもたらし、高いメンテナンスコストにつながる面もあります。Spark がワンプラットフォームとして力を発揮するために、基盤と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Datadog on Data Engineering Pipelines: Apache Spark at Scale
