タグ

2023年9月13日のブックマーク (1件)

  • Amazon EMR 再入門 - Qiita

    改めてAmazon EMRを触った際の備忘録 以下のSpark ETLのWorkshop触ってのポイントまとめ https://emr-etl.workshop.aws/spark_etl/steps.html 対応フレームワーク Hadoop、Spark、Presto、Hive、Flink などのビッグデータ処理フレームワークやクエリエンジンのほか、TensorFlow、MXNet、Mahout などの機械学習系、Jupyter、Zeppelinなどのノートブックなどなど様々 EMR クラスタデプロイパターン オプションは大きく分けて3つ [1] EMR on EC2 上記豊富なフレームワークから選べる標準的な使い方 基はマスターノード・コアノード ・タスクノードで構成 ノードタイプを固定するUniformインスタンスグループと、スポットインスタンスを組み合わせてコスト最適化戦略が組め

    Amazon EMR 再入門 - Qiita
    yoyama
    yoyama 2023/09/13