The Journey of learning Apache Flink (1) — Initial EMR and Project Setup
According to Apache Flink website: Apache Flink® is an open-source stream processing framework for distributed, high-performing, always-available, and accurate data streaming applications. With this journey I won’t discuss hot topics like “Apache Flink vs. Apache Spark” or “Benchmark comparison” on the data processing framework, I believe there are other blogs did better job than this one. The rea
AWS Solutions Architect ブログ
ナスダック - 大量のデータセットへのアドホックアクセスのためのAmazon EMRとAmazon S3を利用したアーキテクチャ これは、AWS BigData blogへのナスダックのPrinciple ArchitectであるNate Sammonsによるゲスト投稿を翻訳したものです。 ナスダックグループは世界中の金融取引所を運営し、毎日多くのデータを処理しています。ナスダックでは、本質的には同じデータセットにアクセスすることが求められ、幅広く多方面において、分析と監視のシステムを動かしています。 ナスダックグループは、Amazon Redshiftがリリースされて以来のユーザーであり、とてもこのサービスを気に入っています。Re:Inventでは「FIN40 Seismic Shift: Nasdaq’s Migration to Amazon Redshift」など、数回にわたりシス
AWS re:Invent 2016: Deep Dive: Amazon EMR Best Practices & Design Patterns (BDM401)
AWS re:Invent 2016: Deep Dive: Amazon EMR Best Practices & Design Patterns (BDM401) Amazon EMR is one of the largest Hadoop operators in the world. In this session, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and short-lived clusters, and other Amazon EMR architectural best practices. We talk about how to scale your cluster
(BDT305) Amazon EMR Deep Dive and Best Practices
Amazon EMR is one of the largest Hadoop operators in the world. In this session, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and short-lived clusters, and other Amazon EMR architectural best practices. We talk about how to scale your cluster up or down dynamically and introduce you to ways you can fine-tune your cluster. We
そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver) - Qiita
そろそろ決着つけようぜ？ Amazon EMR vs Google Cloud Dataproc (2016年Ver)AWShadoopSparkEMRGoogleCloud 0.はじめに Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の14日目です。(投稿が過ぎてしまって本当にすいませんでした。。。) タイトルは若干煽り目ですが、今年はAmazon EMRとGoogle Dataprocを使う機会が多かったので、実際に利用しての現時点における機能比較と使ってみての所感についてまとめてみようかと思います。 補足や誤り等あればぜひお願いいたします。 先に結論 現時点においては適材適所なのでどちらが絶対的優勢とは言えないのですが、以下が現時点におけるベターな使いかたかなと思います。あくまで所感です。
Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス ビッグデータの世界における一般的なユースケースは、さまざまなデータソースからの大量のデータにおける抽出/変換 (ET) とデータ分析の実行です。多くの場合、この後でデータを分析してインサイトを取得します。このような大量のデータを処理するための最も人気のあるクラウドベースソリューションのひとつが Amazon EMR です。 Amazon EMR は、AWS での Apache Hadoop および Apache Spark などのビッグデータフレームワークの実行をシンプル化するマネージドクラスタープラットフォームです。Amazon EMR は、組織が複数のインスタンスを持つクラスターをほんの数分でスピンアップすることを可能にし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
基幹業務もHadoop(EMR)で!!のその後