Amazon EMRのCLIスニペット集 - Qiita
このポストは個人のメモであり、私の所属する組織を代表するものではありません。 概要 EMRのスニペット、いつも同じようなものを書いてしまうのでここにまとめていくことにする。 SparkとPrestoをインストールされたClusterを起動する aws emr create-cluster \ --name Spark_and_Presto \ --ami-version 3.4.0 \ --applications Name=Hive Name=Hue \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c3.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=c3.xlarge \ --ec2-attributes Subnet
IntelliJでScalaのSparkアプリケーションの開発環境を作る - Qiita
How to kick-start Spark development on IntelliJ IDEA in 4 stepsを参考に開発環境を作ったのでメモ おおまかな手順 sbt管理なプロジェクトを作る sbt-assemblyをインストール sbtファイルにSparkの依存ライブラリを記述する これだけで、SparkアプリケーションをSparkのlocalモードで走らせることができるようになる。このへん、Sparkがスケジューラ部分をちゃんとモジュール化してるから簡単にできるんだろうなぁという印象。コードは読んでないけど・・ sbt管理なプロジェクトを作る sbt-assemblyをインストール 分散環境上で動くSparkでは、spark-submitするときにアプリケーションのJARファイルを配る。このときに外部ファイルへの依存があると、各サーバーにそれらのファイルも配らなきゃいけ
Hive on EMRで手っ取り早くTezを使う - Qiita
サマリ 社内でTezのデモを見たんだけど、非常に使い始めが簡単で、しかもクエリ高速化の効果がかなり高いので使い方をまとめておく。手順的にはビルド済みのTezをEMRのBootstrap actionでS3から配布する感じ。 Hiveの実行エンジンをMapReduceからTezに変えるだけで25%から、場合によっては50%以上も性能が上がるので、費用対効果としてはかなり高い施策だと思う。 クラスタ起動 aws emr create-cluster \ --name tez_installed_cluster \ --ami-version 3.5.0 \ --applications Name=Hive \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c3.xlarge InstanceGro
YARN queue ACL for Spark - Qiita
昨日書いたSpark and YARNで、下記のようなことを書いたので少し検証してみた。 YARNで強化するSparkのセキュリティ対策 Spark自体が提供するセキュリティ対策のほかに、YARNのCapacity Schedulerを使うことによって、RMに対してアプリケーション登録時に認証をかけることができるようになる。ちょっと時間切れになってきたので、詳細はまたあとで追記。 YARNのスケジューラが持つキュー YARNのCapacity SchedulerとFair Schedulerはアプリケーションの登録を受け付けるキューをもっており、これらはUNIXユーザー/グループベースのACLを掛けることができる。このことによりSparkアプリケーションを実行するユーザーごとにアプリケーションの登録可否を制御できる。Capacity Schedulerの場合、複数のキューを持つことができる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
