New – Per-Second Billing for EC2 Instances and EBS Volumes | Amazon Web Services
AWS News Blog New – Per-Second Billing for EC2 Instances and EBS Volumes Back in the old days, you needed to buy or lease a server if you needed access to compute power. When we launched EC2 back in 2006, the ability to use an instance for an hour, and to pay only for that hour, was big news. The pay-as-you-go model inspired our customers to think about new ways to develop, test, and run applicati
New – Auto Scaling for EMR Clusters | Amazon Web Services
AWS News Blog New – Auto Scaling for EMR Clusters The Amazon EMR team is cranking out new features at an impressive pace (guess they have lots of worker nodes)! So far this quarter they have added all of these features: September – Data Encryption for Apache Spark, Tez, and Hadoop MapReduce. September – Open-sourced EMR-DynamoDB Connector for Apache Hive. November – Stream Processing at Scale with
Amazon EMR 5.0.0 – メジャーアプリアップデート、UI改善、デバッグ改善、その他 | Amazon Web Services
Amazon Web Services ブログ Amazon EMR 5.0.0 – メジャーアプリアップデート、UI改善、デバッグ改善、その他 Amazon EMRチームは新しいリリースをものすごい勢いでリリースし続けています。今年のローンチを振り返ってみましょう: EMR 4.7.0 – Apache Tez, Apache Phoenix, Presto, HBase, Mahout (6月) EMR 4.6.0 – 巨大データへのリアルタイムアクセス用に、HBase (4月) EMR 4.5.0 – Hadoop, Presto, SparkとEMRFS追加 (4月) EMR 4.4.0 – Sqoop, HCatalog, Java 8, 他 (3月) EMR 4.3.0 – Spark, Presto, Ganglia (1月) 今日、チームからEMR 5.0.0が発表されまし
Spark を使うにあたり Google Cloud Dataproc を利用する５つのメリットと注意点 - Qiita
はじめに iQONでは、アイテムのレコメンドといった大規模データの計算が必要な際には、Spark の MLlib という機械学習のライブラリを使っていますが、その際に Google Cloud Platform (GCP) のマネージド Hadoop & Spark サービスである Dataproc で計算を行っています。 本記事では、実際に業務で使ってみた上で、Dataproc にどのような特徴があり、他の類似サービスと比べてどのようなメリットがあるか、また利用する際にどのような点に気をつけるべきか、といった点について説明したいと思います。 Dataproc とは？ Dataprocは、Hadoop & Saprk のマネージド サービスです。類似サービスとしては、AWS の Elastic MapReduce (EMR) や Azure の HD Insight がありますが、それらの
AWS Solutions Architect ブログ
Amazon Elastic MapReduceにおけるIAMロール必須化/AWS Data Pipelineでの注意事項 こんにちは。SAの今井です。 今日はAmazon Elastic MapReduce(以下EMR)のIAMロール必須化と、それに伴うAWS Data Pipeline（以下Data Pipeline）に与える影響についてお知らせします。 AWSからのお知らせメールでお気づきの方もいらっしゃるかと思いますが下記にあるようにEMRでは2015年6月30日以降、IAMロールの利用が必須となります。 https://docs.aws.amazon.com/ja_jp/ElasticMapReduce/latest/DeveloperGuide/emr-iam-roles.html 何が起こるの？ 6/30(UTC)の深夜以降、IAMロールを付与せずにEMRクラスタを起動するこ
Hue – A Web User Interface for Analyzing Data With Elastic MapReduce | Amazon Web Services
AWS News Blog Hue – A Web User Interface for Analyzing Data With Elastic MapReduce Hue is an open source web user interface for Hadoop. Hue allows technical and non-technical users to take advantage of Hive, Pig, and many of the other tools that are part of the Hadoop and EMR ecosystem. You can think of Hue as the primary user interface to Amazon EMR and the AWS Management Console as the primary a
Elastic MapReduce Now Supports Hive 13 | Amazon Web Services
AWS News Blog Elastic MapReduce Now Supports Hive 13 I am pleased to announce that Elastic MapReduce now supports version 13 of Hive. Hive is a great tool for building and querying large data sets. It supports the ETL (Extract/Transform/Load) process with some powerful tools, and give you access to files stored on your EMR cluster in HDFS or in Amazon Simple Storage Service (Amazon S3). Programmat
PinterestのHadoopインフラ - ワザノバ | wazanova
http://engineering.pinterest.com/post/92742371919/powering-big-data-at-pinterest 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Pinterestもものすごい規模になってきましたね。 1日当たり20TBの新しいデータ。Amazon S3には約10PBが保存されている。 同社ではこのデータの処理にHadoopを利用していますが、 毎日100人以上が、Quoboleが提供するダッシュボードを使って、2,000件以上のジョブを実行。 3,000個のノードで構成される6つのHadoopクラスタを利用。エンジニアは数分で専用のクラスタが立上げ可能。 毎日のログデータは、200億件。約1TBに達する。 このグラフによると、Pinte
Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
Hadoopの派生関係 2013年度版
Hadoop distributions as of 20131231 from shingo furuyama 去年というか今年の初めに書いたものが割と評判がよかったので今年もやってみました。 Slideshareの仕様かなにかわかりませんが、透過しないはずのオブジェクトが透過される扱いになって絵が汚くなってしまったので、bmpをpptに張り付けるという最終的によくわからない方法でSlideshareに乗せることになってしまいましたが、遠目に見る分には問題なさそうなのでこれで。 文章そのものは去年というか今年の雰囲気だとあまり読まれていなかったようなので、今年も適当に各ディストリビューションについてあれしようかと思います。僕としてはなにを議論したいかというのはあまりなくて、今年というかHadoopを触っていたころに思っていたことをフラッシュしてる感じです。去年というか今年の初めはHado
Announcing Support for Impala with Amazon Elastic MapReduce
We are pleased to announce support for Impala with Amazon EMR. Impala is an open source tool for real-time, ad hoc querying using a familiar SQL-like language. By using Impala on Amazon EMR, you can perform fast interactive analytics on unstructured data. For many types of queries, it's much faster than Hive. Impala's performance makes it a great engine for iterative queries and many popular BI to
Amazon Elastic MapReduce Deep Dive and Best Practices (BDT404) | AWS re:Invent 2013
Amazon Elastic MapReduce Deep Dive and Best Practices (BDT404) | AWS re:Invent 2013 Amazon Elastic MapReduce is one of the largest Hadoop operators in the world. Since its launch four years ago, our customers have launched more than 5.5 million Hadoop clusters. In this talk, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and sh
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices | DevelopersIO
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices AWSのエンタープライズソリューションアーキテクトである、Siva Raghupathyさんによる「AWS Storage and Database Architecture Best Practices」に参加してきました。 各ストレージ、データベースの向き不向きとベストプラクティスを網羅的に紹介する内容でした。 AWSはデータベースだけでも沢山のサービスがあるので、どのサービスを利用するのが一番いいのか迷うことがよくあります。 以下は発表内容の直訳ですが、それぞれのサービスの特性を押さえておくことで、より確かな選定をするための一助になればと思います。 英語が分からなくて、訳せていない部分があります。 自信が無いところは元の英語
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tez on EMRを試してみた
Spot Instance + Spark + MLlibで実現する簡単低コスト機械学習
Run Spark on EMRってどんな仕組みになってるの？
AWS Partner Webcast - Hadoop in the Cloud: Unlocking the Potential of Big Data on AWS
EMR with the MapRは何がうれしいの CM re:Growth
20131213 jawsugソフトウェアベンダーがAWSを活用して
急にSaaSをはじめた話
