Elastic MapReduce Now Supports Hive 13 | Amazon Web Services
AWS News Blog Elastic MapReduce Now Supports Hive 13 I am pleased to announce that Elastic MapReduce now supports version 13 of Hive. Hive is a great tool for building and querying large data sets. It supports the ETL (Extract/Transform/Load) process with some powerful tools, and give you access to files stored on your EMR cluster in HDFS or in Amazon Simple Storage Service (Amazon S3). Programmat
PinterestのHadoopインフラ - ワザノバ | wazanova
http://engineering.pinterest.com/post/92742371919/powering-big-data-at-pinterest 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Pinterestもものすごい規模になってきましたね。 1日当たり20TBの新しいデータ。Amazon S3には約10PBが保存されている。 同社ではこのデータの処理にHadoopを利用していますが、 毎日100人以上が、Quoboleが提供するダッシュボードを使って、2,000件以上のジョブを実行。 3,000個のノードで構成される6つのHadoopクラスタを利用。エンジニアは数分で専用のクラスタが立上げ可能。 毎日のログデータは、200億件。約1TBに達する。 このグラフによると、Pinte
Run Spark on EMRってどんな仕組みになってるの？
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
Announcing Support for Impala with Amazon Elastic MapReduce
We are pleased to announce support for Impala with Amazon EMR. Impala is an open source tool for real-time, ad hoc querying using a familiar SQL-like language. By using Impala on Amazon EMR, you can perform fast interactive analytics on unstructured data. For many types of queries, it's much faster than Hive. Impala's performance makes it a great engine for iterative queries and many popular BI to
Amazon Elastic MapReduce Deep Dive and Best Practices (BDT404) | AWS re:Invent 2013
Amazon Elastic MapReduce Deep Dive and Best Practices (BDT404) | AWS re:Invent 2013 Amazon Elastic MapReduce is one of the largest Hadoop operators in the world. Since its launch four years ago, our customers have launched more than 5.5 million Hadoop clusters. In this talk, we introduce you to Amazon EMR design patterns such as using Amazon S3 instead of HDFS, taking advantage of both long and sh
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices | DevelopersIO
AWS re:Invent2013参加レポート #13 AWS Storage and Database Architecture Best Practices AWSのエンタープライズソリューションアーキテクトである、Siva Raghupathyさんによる「AWS Storage and Database Architecture Best Practices」に参加してきました。 各ストレージ、データベースの向き不向きとベストプラクティスを網羅的に紹介する内容でした。 AWSはデータベースだけでも沢山のサービスがあるので、どのサービスを利用するのが一番いいのか迷うことがよくあります。 以下は発表内容の直訳ですが、それぞれのサービスの特性を押さえておくことで、より確かな選定をするための一助になればと思います。 英語が分からなくて、訳せていない部分があります。 自信が無いところは元の英語
Redshift Performance & Cost
By Henry Cai At Airbnb, we look into all possible ways to improve our product and user experience. Often times this involves lots of analytics behind the scene. Our data pipeline thus far has consisted of Hadoop, MySQL, R and Stata. We’ve used a wide variety of libraries for interfacing with our Hadoop cluster such as Hive, Pig, Cascading and Cascalog. However, we found that analysts aren’t as pro
Jenkinsとhadoopを利用した継続的データ解析環境の構築
2. Meta Information • 2006.4 – 2012.3 – Keio University • Artificial Intelligence, Semantic Web, Ontology Engineering • 2011.2 – 2012.3 – CTO at Trippiece, Inc. • Software Engineering • 2012.4 – – Engineer at adingo, Inc. • Data Analysis, Operation Engineering twitter: @suzu_v http://blog.kentasuzuki.net
Why we run our HBase on EC2 | WhyNosql
Key HBase community members advise people not to host their HBase cluster on EC2. And they have good reasons for advising so. But in this post I am going to explain why we decided to host our HBase cluster on EC2 and why we continue to host it on EC2. When we began experimenting with HBase in July of 2009, HBase was fairly new and we were experimenting with Hadoop and HBase to learn how these tech
JJUG CCC 2010 Fall で講演しました - (ﾟ∀ﾟ)o彡 sasata299's blog
2010年10月19日18:57 勉強会 Hadoop JJUG CCC 2010 Fall で講演しました 先日、国立オリンピック記念青少年総合センターで行われた JJUG CCC 2010 Fall にて講演してきました。当日は100名以上の方にお越しいただき、ありがとうございます。 日本Javaユーザグループ（JJUG）は、「コミュニティのコミュニティ」、「Javaに閉じず」をコンセプトに活動を行なってきました。CCC（クロスコミュニティカンファレンス）は、そうした活動の、年に二回の集約点です。 当日のスライドはこちらをご覧下さい。 961万人の食卓を支えるデータ解析View more presentations from Tatsuya Sasaki. 少しでも参考になれば幸いです。にしても、50分トークは長いですね〜 他の方のセッションもとても興味深い内容で面白かったです。特に
Log In - Apache Software Foundation
Powered by a free Atlassian Confluence Open Source Project License granted to Apache Software Foundation. Evaluate Confluence today. Čeština Dansk Deutsch Eesti English (UK) English (US) Español Français Íslenska Italiano Magyar Nederlands Norsk Polski Português Română Slovenčina Suomi Svenska Русский 中文 日本語 한국어 Powered by Atlassian Confluence 7.19.20 Printed by Atlassian Confluence 7.19.20 Report
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20131213 jawsugソフトウェアベンダーがAWSを活用して
急にSaaSをはじめた話
DynamoDB活用事例 株式会社マイネット
agilecatcloud.com
Forums
Contact Support