Amazon Elastic MapReduce (EMR) ではじめる Presto/Trino 入門
Presto/Trino 1は日本語の入門書がなく、「Presto/Trino を運用することになったけど何から勉強すれば良いかわからない＞＜」という人も多いのではないかと思います。そこで、Presto/Trino を運用する時にこの辺の内容を知っていれば、よりスムーズにキャッチアップできたかなぁと思うことをまとめてみました。 Hive connector を使いたいので、Hive と Presto の環境構築をサクッと行える Amazon Elastic MapReduce (以降 EMR) で実際に手を動かせればと思います。 以降 Presto/Trino ではなく Presto と表記しますが、Trino は元々同じソフトウェアであるため、Trino でも当てはまる内容がほとんどのはずです。 なお、Presto のバージョンは 2019-03-13 時点で最新の EMR 5.21.0
Amazon Elastic MapReduceを使って簡単分散処理 | Casley Deep Innovations株式会社 技術ブログ
こんにちは。SI部の杉光です。 今回はAmazon Web Serviceの一つであるAmazon Elastic MapReduce(以下EMRと省略)を利用して 簡単に大規模データの分散処理を行う方法とEMRでサポートされているHadoopエコシステムの利用例をご紹介したいと思います。 Amazon EMRとは EMRはAWSが提供するHadoopクラスターのサービスです。 クラウドサービスなので、わずか数分で仮想サーバーのクラスターを立ち上げ可能にし、 計算能力の需要に合わせクラスターを構成するサーバー数を調整することが可能です。 時間単位の課金なので、大量のデータを直ぐに短期間で処理したい場合も高いコストパフォーマンスで対応できます。 また、他AWSサービスとの連携が可能で、S3、RDSやDynamoDBに保存されたデータにクラスターからアクセスが可能です。 とりわけ、S3はHDF
AWS Athenaを使ってみよう
KLab Advent Calendar 10日目の記事です。KLab分析基盤チームの高田です。 分析基盤チームでは、社内向けに各種KPIを提供している他、KG SDKのKPIレポートシステムを通じて、パートナー向けにシステムを提供しています。 今回は、先日re:Invent 2016で発表されたばかりのAWSの新サービスAthenaを試してみました。KLabの分析基盤システムでは、すでにRedshiftやEMRを使用していますが、Athenaには、これらを補うような役割(低コストで導入し、アドホックな分析や定型的なレポートの作成をサポートするといった用途)を期待しています。 Athenaとは? ひとことで言えば、Athenaとは、S3上に置いてあるデータを高速にSQLで集計・分析できるサービスです。内部はPrestoをベースとしつつ、独自の改修をくわえて使用しているようです。Athena
Amazon EMR(Amazon Elastic MapReduce)の勉強メモ
Amazon Elastic MapReduce（Amazon EMR）とは 大量のデータを効率的かつ容易に処理するためのウェブサービスです。Amazon EMR では、Hadoop 処理に AWS の様々なサービスを組み合わせることによって、ウェブインデックス化、データマイニング、ログファイル分析、機械学習、科学シミュレーション、データウェアハウジングなどのタスクを行うことができます。 公式より https://aws.amazon.com/jp/documentation/elasticmapreduce/ そもそもHadoopって何だろう・・・ と思ったのでざっくり調べました↓ https://normalblog.net/system/hadoop/note/ こういう感じ？ AWSの環境の中でHadoop（分散環境フレームワーク）を利用出来るサービス？ それをAmazon UIで
EMR上でHive on Tezを利用する | DevelopersIO
本日Amazon EMR release 4.7.0がリリースされました。 Apache Tez 0.8.3 and Apache Phoenix 4.7.0 now available on Amazon EMR そして、このリリースにApache Tezが含まれていました！Tezは以前EMR上に手動でインストールして動作検証を行ったことがあり、既存のHiveクエリを大幅に高速化出来ることが期待できるためEMR公式リリースを楽しみにしていました！ 「Tez on EMRを試してみた」というタイトルで話しました #cmdevio2015G ｜ Developers.IO ということで、今回はEMR release 4.7.0上でHive on Tezを利用する方法について紹介したいと思います。なお、公式ドキュメントに書かれている[Using Tez]とほぼおなじ内容を試しています *1 A
o0800055413105035012 | AI tech studio
2014.11.7 o0800055413105035012 Tweet 関連記事
AWS再入門 Amazon Elastic MapReduce編 ｜ DevelopersIO
はじめに 当エントリはDevelopers.IOで弊社AWSチームによる2015年アドベントカレンダー 『AWS サービス別 再入門アドベントカレンダー 2015』の8日目のエントリです。 昨日7日目のエントリは大栗の『Amazon RDS』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日8日目のテーマは『Amazon EMR』です。 Amazon Elastic MapReduce（Hadoopクラスター Amazon EMR） | アマゾン ウェブ サービス（AWS 日本語） 目次 Amazon EMRとは 分散処理基盤 分散アプリケーション 伸縮自在性 安全性 サービス利用のユースケー
Amazon Elastic MapReduceのリリースバージョンの差異 | DevelopersIO
小ネタです。今年の7月にAmazon EMRのリリース4.0.0がリリースされ、最近では4.2.0もリリースされました。このリリース4系と従来のバージョン2系および3系は基本的な利用法は変わっていませんが構築されるHadoopクラスタの中身が別物になっています。私も最初はその違いがよく分からなかったので、今回はその違いについて説明します。なお、今回説明する差分の一覧は公式ドキュメントにまとめて記述されています。 バージョンの言い方がEMR releaseに変わった まずEMRのバージョンの言い方が変わりました。2系および3系まではAMI Versionという言い方でしたが、4系からはEMR releaseという言い方に変わっています。実際にマネジメントコンソールで[Release]の一覧を表示すると以下のようになっています。 4系: EMR release - Hadoop2 3系: AM
MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
Amazon Elastic MapReduce : MapとReduceのスレッドセーフ実験。 - tetsuya_odakaの日記
前回の記事で、Hadoop2にしたら随分たくさんMapとReduceが動いたので、スレッドじゃないよね、と思ってしまった。特にMapperは起動の仕方でプログラムがデタラメになってしまうので、ちょっと調べてみた。 Hadoop2.4のAPIをみると、Mapperをつかってる限りでは、Runnableを引き継いでくることはないようで、Javadocのdescriptionの下の方に、 Applications may write a custom MapRunnable to exert greater control on map processing e.g. multi-threaded Mappers etc. と書いてあって、MapRunnableを使うとスレッドで処理できるよ、となっている。 ちなみに、MapRunnableのJavadocをみると、runメソッドがあって、これを
Powering Interactive Data Analysis at Pinterest by Amazon Redshift
Amazon Redshift is a fast, petabyte-scale data warehouse that makes it easy to analyze your data for a fraction of the cost of traditional data warehouses. In this webinar, you will learn how to easily migrate your data from other data warehouses into Amazon Redshift, efficiently load your data with Amazon Redshift's massively parallel processing (MPP) capabilities, and automate data loading with
Cloudera Blog
Enterprises see embracing AI as a strategic imperative that will enable them to stay relevant in increasingly competitive markets. However, it remains difficult to quickly build these capabilities given the challenges with finding readily available talent and resources to get started rapidly on the AI journey. Cloudera recently signed a strategic collaboration agreement with Amazon […] Read blog p
Amazon Elastic MapReduce Deep Dive and Best Practices (BDT404) | AWS re:Invent 2013
Amazon Elastic MapReduce Deep Dive and Best Practices (BDT404) | AWS re:Invent 2013 Amazon Elastic MapReduce is one of the largest Hadoop operators in the world. Since its launch four years ago, our customers have launched more than 5.5 million Hadoop clusters. In this talk, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and sh
Cloudera ManagerとCDHをAWS EC2にインストールしてみた | DevelopersIO
こちらのエントリ、きっかけは下記イベントでの内容でした。 ビックデータ可視化BIソフトTableau（タブロー）x AWS(Redshift & EMR)勉強会（再演！） - クラスメソッド株式会社 | Doorkeeper 弊社で行われたTableau(※BIツール) x AWSな組み合わせのこのイベントにて、Tableau Japanの並木 正之さんの解説の元、TableauからCloudera Impalaという仕組み(リアルタイムクエリ)を介してデータに接続するデモが行われ、その反応の早さに参加者一同驚きました。 Cloudera Impala：Apache Hadoopで実現する、真のリアルタイムクエリ | Hadoopとビッグデータソリューションのリーディングカンパニー | Cloudera Japan それを受けて、『AWS上でこれが動かせるのであれば、またひとつ面白い事が出
Amazon EMRでMahoutのレコメンデーションのワクワク感を体験する：30分でできる分散レコメンデーション - tetsuya_odakaの日記
追記：2013/9/17 このログの続編の投稿が完了しましたので、記事の末にリンクを追加しました。これで、このログの方法を応用した分散レコメンデーションエンジンの構築もばっちり（のはず）です。 先のログでは、Parallel ALS(Alternating Least Squares)を用いたレコメンデーションの理論面のフォローアップと、Apache Mahoutでの実装を少し詳しくみた。 このアルゴリズムは極めてシンプルで、かつ、Apache MahoutではHadoop上でスケーラブルに実装されている。 Apache Mahoutは発展途上のプロジェクトなので、スケーラブルに実装されているアルゴリズムとそうでないアルゴリズムがあって、レコメンデーションについていえば、0.8では、アイテムベースのレコメンデーション、Slope Oneレコメンデーション、Parallel ALSを使ったレ
Hadoop-ec2環境の構築[ClouderaのAMIをベースにHadoop環境を構築]
自分で設定したカスタムのAMIを作っておけば、hadoop-ec2スクリプトで簡単に計算ノードを追加できます。 まずはClouderaのAMIをベースにしてHadoop環境を構築してカスタムのAMIとして保存しようと思います。 Clouderaが提供しているAMIの一覧からfedoraの64bitを選びました。 cloudera-ec2-hadoop-images/cloudera-hadoop-fedora-20090623-x86_64 ami-2359bf4a 以下はインスタンスを１台起動してrootでログインしての作業です。 ________ __ /\ _____\ /\ /\ \ \ \ \____/ /\ \ ____ __ __ _\_\ \ ____ __ ____ _____ \ \ \ \ \ \ / __ \ /\ \/\ \ / ___ \ / __ \ /\
「業務システムにも、クラウドを」をテーマにしたノーチラスのクラウドサービス紹介セミナーに行って来ました - #garagekidztweetz
ツイート 今日はノーチラス・テクノロジーズ主催の「業務システムにも、クラウドを」をテーマにしたノーチラスのクラウドサービス紹介セミナーに行って来ました。 ノーチラス・テクノロジーズとして主催するセミナーは実は初めてだったらしいです。 Cloud で基幹システムを使うというのはまだまだ制限がある中で、先駆者としてノーチラス・テクノロジーズが手がけた事例の紹介とノーチラス・テクノロジーズの新製品 Node0 シリーズの説明が行われました。 アジェンダは以下のようになっていました。 15:00〜15:10 開会の挨拶 アマゾン データ サービス ジャパン株式会社 パートナ・アライアンス本部 本部長 今野 芳弘氏 15:10〜15:50 西鉄ストア様の本部基幹システム移行事例 〜基幹システムの本格的なクラウド移行の裏側〜 代表取締役社長 神林 飛志氏 15:50〜16:30 アンデルセンサービス様
Amazon Redshift is 10x faster and cheaper than Hadoop + Hive
2. Amazon Redshift took 155 seconds to run our queries for 1.2TB data Hadoop + Hive took 1491 seconds to run our queries for 1.2TB data Amazon Redshift was 10X faster Amazon Redshift cost $20 to run a query every 30 minutes Hadoop + Hive took $210 to run a query every 30 minutes Amazon Redshift was 10X cost effective www.flydata.com 3. Amazon Redshift is a new data warehouse for big data on the cl
米Netflix、Amazonクラウド上でのHadoopの運用管理サービス「Genie」を公開 | OSDN Magazine
米Netflixは6月21日、Amazon Web Service（AWS）クラウド上に構築された「Apache Hadoop」を管理するソフトウェア「Genie」をオープンソースで公開した。Hadoopや「Apache Hive」、「Apache Pig」のジョブを実行したりHadoopリソースの管理を行うためのRESTful APIを提供するもので、動的なリソース管理が可能になるという。 Netflixはビデオストリーミングサービスなどを提供する企業。同社はサービスの運用に「Amazon S3」などAWSのクラウドサービスを多用、クラウド上に多数のHadoopを構築しており、それらを管理するために自社で開発したツールをオープンソースで公開している。今回公開されたGenieは「HadoopベースのPaaS」との位置付けで、Netflixがすでに公開している「Karyon」（ブートストラッ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshift ベンチマーク Hadoop + Hiveと比較
