エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
SparkInternalsで知る、Sparkの内部構造概要(Physical plan) - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
SparkInternalsで知る、Sparkの内部構造概要(Physical plan) - Qiita
はじめに こんにちは。 前回に引き続き、SparkInternalsを訳していきます。 前回と同じく以後は下記の判... はじめに こんにちは。 前回に引き続き、SparkInternalsを訳していきます。 前回と同じく以後は下記の判例となります。 SparkInternals訳文 コメント Physical Plan 本章ではDAGを基にしたPhysicalPlanについて説明する。 PhysicalPlanはStageやTaskといった内容も内包している。 本章ではどのようにLogicalPlanからどうやってStageやTaskといったPhysicalPlanを生成するかについて焦点を当てて進める。 A Complex Logical Plan 上記のアプリケーションのコードは章末を確認すること。 どのようにデータ依存グラフから適切なStageやTaskを決定しているのか? 直観的なアイディアとしてはあるRDDと親RDDの関連からStageを生成する形になる。そう考えると、上の図にある各矢印がTask