hiveやSparkSQLをEMRで試してみた。 - Qiita
はじめに この内容は、個人的な投稿であり、会社や組織を代表するものではございません。 また、こちらの内容は素人がググりながら試した結果をまとめたものなので、節々に間違いがあるかもしれませんが、ご容赦くださいませ。 (本内容により発生した損害については一切の責任をおいませんのでご容赦下さいませ） この記事を見て、SQLはかけるけど、Hadoop,Hive,EMRとかよくわからないから大きいデータの集計に困ってる、なんて方のお役に立てれば幸いです。 今回の検証の諸条件 利用データは、AWS パブリックデータセットの「Wikipedia Traffic Statistics V2」を利用しています。https://aws.amazon.com/datasets/wikipedia-traffic-statistics-v2/?_encoding=UTF8&jiveRedirect=1 EC2の起
EMRでクラスターを起動してHiveスクリプトを実行する | DevelopersIO
はじめに 最近、Amazon EMRを触り始めたt.hondaです。タイトルにあるようにEMRのクラスターを立ち上げてHiveスクリプトを実行するまでの手順について書きたいと思います。 手順 1.クラスターの起動 最初にEMRのクラスターを起動します。 マネジメントコンソールでAmazon EMRを選択し、「クラスターを作成」ボタンを押下します。 「クラスターの作成」画面にて幾つかの設定をします。ここでは最低限の設定について取り上げます。 起動モードは「クラスター」、ベンダーは「Amazon」、アプリケーションは「Core Hadoop・・・」を選択します。これらはデフォルトで選択されているかと思います。 EC2のキーペアですが、以降の手順でEC2にアクセスするため、予め作成しておく必要があります。作成済みのキーペアを指定します。その他はデフォルトのままで、ひとまずは大丈夫です。 ここまで
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
12. 12 Amazon Elastic MapReduceとは？ • 1クリックでHadoopクラスタが⼿手に⼊入る – 使い終わったらまとめて捨てるのも簡単 – スポットインスタンスを使ったコストカットも • 設定済のアプリケーションがすぐ使える – Application: Hive, Hue, Impalaなど – Bootstrap Action: Presto, Sparkなど • ⾏行行うべき処理理を簡単に設定できる – ジョブが終わったらクラスタを消すところまで⾃自動化 13. 13 Task Node Task Instance Group Amazon EMRのアーキテクチャ security group security group Master Node Master Instance Group Amazon S3 Dynamo
Powering Interactive Data Analysis at Pinterest by Amazon Redshift
Amazon Redshift is a fast, petabyte-scale data warehouse that makes it easy to analyze your data for a fraction of the cost of traditional data warehouses. In this webinar, you will learn how to easily migrate your data from other data warehouses into Amazon Redshift, efficiently load your data with Amazon Redshift's massively parallel processing (MPP) capabilities, and automate data loading with
『DynamoDB：SSD Hot S3 Cold パターン』を試してみた。 - サーバーワークスエンジニアブログ
みなさん、こんにちは。 新規開発チームの小田切です。 最近は、仕事の合間にいろいろ検証を行ったりしているのですが、その中で見つけた「SSD Hot S3 Coldパターン」という物があり、気になったので、検証を行ってみました。 「SSD Hot S3 Coldパターン」は簡単にいうと、『SSD(DynamoDB)はストレージ料金がそれなりに高いから、使わないデータは価格の安いS3に移動させちゃいましょう』というパターンです。 イメージは以下のような感じになると思います。 ここで活躍するのが、DynamoDBとS3をつなぐ事の出来るEMR(Hive)です。 Dynamoには、すでにデータが入っている状態として話を進めて行きます。 EMRのJobFlowを作成する まずは、EMRのJobFlowを作成し、HadoopとHiveのインストールされているインスタンスを作成する必要があります。 AW
Elastic MapReduceとHiveの概要と利用準備
必要な環境 Windows、Macなどインターネットが利用可能なOS環境 クラウドでHadoopを使うメリット 昨今ビッグデータ格納の基盤としてHadoopを使う事例が増えてきています。大規模なストレージを必要とせずにビッグデータを扱える環境は非常に魅力的です。 HadoopはGoogleの検索エンジンの基盤として開発されたGoogle File SystemおよびMapReduceの技術仕様を元に開発されたオープンソースソフトウェアです。ファイルを複数のサーバに冗長化した上で分散配置するHDFS（Hadoop Distributed File System）と、分散配置されている大量データから必要なデータの抽出や分解を行うHadoop MapReduceにより構成されています。 現在、Hadoopはクレジットカード会社の売上データの解析や、国立国会図書館が提供している検索サービスのインデ
cloudpackブログ - EMRってなんじゃ？（HiveのDynamicPartitionでファイルを分割してS3に出力）
ある数年分のデータがS3上に1つのファイルとして格納されている場合に、 EMRで年や月単位で分割したいという要望が一部であったため、やってみました。 例として、以下のようなCSVがあるとします。 ○test.csv 2012,01,12,title1,body1 2012,01,22,title2,body2 2012,02,02,title3,body3 2012,03,01,title4,body4 2012,03,11,title5,body5 2012,03,18,title6,body6 2012,04,04,title7,body7 2012,05,02,title8,body8 2012,05,05,title9,body9 2012,06,13,title10,body10 2012,06,14,title11,body11 2012,06,29,title12,body1
Amazon Redshiftの利点
Amazon Redshiftについて色々と聞く機会があった。その時聞いたことメモ。 Amazon EMRとAmazon Redshiftの違い まずは、よく比較されることになるEMRとRedshiftの違いから。 Amazon EMR HadoopクラスタとHiveを簡単に使うためのサービス。自由な台数のクラスタを自由なタイミングで起動したり破棄したりできる。 Hadoopクラスタ運用(初期設定、チューニング、等)の手間が完全に不要なのはものすごいメリット。 クエリの速さは、ログの量によりますが、数分～数十分くらいかかる。(ログの行数が数百万～数千万ある時) 利用者から見た基本的な用途・できることはEMRとほとんど同じ。ただ、仕組みが全く違う。 RedshiftはRDBのような(Postgresベースらしい)テーブル設計を持つ。例えば、VARCHAR(255)みたいなカラムを持つ。EMR
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python + Hive on AWS EMR で貧者のログサマリ
excale.net
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
お探しのページは移転しました | takemikami's note