[B! EMR] rsakamotのブックマーク

What is AWS Data Pipeline? - AWS Data Pipeline

AWS Data Pipeline is no longer available to new customers. Existing customers of AWS Data Pipeline can continue to use the service as normal. Learn more What is AWS Data Pipeline? AWS Data Pipeline service is in maintenance mode and no new features or region expansions are planned. To learn more and to find out how to migrate your existing workloads, see Migrating workloads from AWS Data Pipeline.

rsakamot 2016/09/16

AWS
EMR

リンク

Amazon EMR(hive) + 外部メタストア(RDS)を利用した構築メモ - Qiita

Amazon EMR + 外部metastore( Amazon RDS for mysql)の構築手順 hive外部メタストアのをRDSで構築し、hiveとhueのデータ両方を格納するDBとする場合の手順。のほほんと設定しているだけだとエラーが発生して、起動しなかったのでメモ。まとめ Hueもインストールするときは、create database <hue用のデータベース名>;を実行してあらかじめつくりましょう。（完） Amazon RDS の作成１．適当に作成する。２．起動後、必要であればmetastoreアクセスユーザを作成しておく。３．user,passwordをメモしておく４．　create database <hue用のデータベース名>;を実行してデータベースを作成しておく。 hive,hueの接続設定をかく。 Amazon EMRの起動設定のConfigurati

rsakamot 2016/08/30

EMR

リンク

Hive on EMRで手っ取り早くTezを使う - Qiita

サマリ社内でTezのデモを見たんだけど、非常に使い始めが簡単で、しかもクエリ高速化の効果がかなり高いので使い方をまとめておく。手順的にはビルド済みのTezをEMRのBootstrap actionでS3から配布する感じ。 Hiveの実行エンジンをMapReduceからTezに変えるだけで25%から、場合によっては50%以上も性能が上がるので、費用対効果としてはかなり高い施策だと思う。クラスタ起動 aws emr create-cluster \ --name tez_installed_cluster \ --ami-version 3.5.0 \ --applications Name=Hive \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=c3.xlarge InstanceGro

rsakamot 2016/08/08

emr

リンク

大規模データについて第3回～EMR開発_基礎編～ - Qiita

今回から開発編ということで、いままで開発で得た EMR開発の実践的なところを紹介していきます！開発編を１回で記事にしてしまうとボリュームが多すぎてしまうので、基礎編、実装編と分けることにしました。早速ですが、投稿スケジュールを以下に変更させていただきます;; ・11月上旬～EMR開発基礎編～・11月下旬～EMR開発実装編～・12月上旬～EMR開発_運用編～・12月下旬〜Redshiftについて今回は、基礎編と題しましてEMR開発における土台の部分について書きたいと思います。はじめに先ずは、EMRを動かすために必要なものを一通り・AWSアカウント・アカウントに紐づくアクセスキー/シークレットキー・処理対象のデータ・Hadoopを動かすためのMapReduceコード(Hive/Pigの場合は不要) ・CLIツール(Webコンソールでも代用可能) 以上で