Databricksクラスター設定のベストプラクティス - Qiita

Databricksクイックスタートガイドのコンテンツです。 Databricksは、低いコストでベストなパフォーマンスを得られるようにクラスターを作成、設定する際に数多くのオプションを提供します。しかし、ワークロードに最適な設定を決定する際にこの柔軟性が課題となるケースもあります。ユーザーがクラスターをどのように活用するのかを注意深く検討することは、既存クラスターを設定、新規クラスターを作成する際に設定を選択する際の助けになります。設定を決定する際に検討すべき項目には以下のものがあります。 どのようなタイプのユーザーがクラスターを利用するのか？データサイエンティストはデータエンジニアやデータアナリストとは異なる要件に基づいて、異なるタイプのジョブを実行することになるでしょう。 クラスターでどのようなタイプのワークロードが実行されるか？例えば、バッチの抽出、変換、ロード(ETL)ジョブは分