Genomic Analysis with Hail on Amazon EMR and Amazon Athena | Amazon Web Services
AWS Big Data Blog Genomic Analysis with Hail on Amazon EMR and Amazon Athena UPDATE: Hail version 0.2 (stable) represents over a year of great work by the community. It includes new capabilities, numerous fixes and improved performance. We’ve updated the CloudFormation template in this post to allow you to launch an Amazon EMR cluster with Hail v0.2. Genomics analysis has taken off in recent year
もうオンプレには戻らない、リクルートとドコモがデータ分析基盤をAWSへ移す理由 (1/2)
“日本の大企業は米国に比べてITの最先端トレンドにキャッチアップするスピードが遅い”と言われることが多いが、ことAWSクラウドの導入に限っていえば、グローバルでも引けを取らず、むしろ先進的な導入事例も少なくない。特にここ最近は、データアナリティクスのコアとしてRedshiftやAthenaといったAWSのマネージドサービスを積極的に活用するエンタープライズが増えている。 本稿では、そうした国内企業の中でも最先端のデータアナリティクス基盤をAWS上に構築する「JAWS-UGビッグデータ支部」の2社、リクルートテクノロジーズとNTTドコモの事例について、7月5日に東京・大崎で開催された「AWS Solution Days 2017 ～ AWS DB Day ～」に登壇した両社の発表内容をもとに紹介したい。 EMRで“キャパシティプランニングの呪縛”から解放された：リクルートテクノロジーズ “リ
Amazon EMR が Auto Scaling と設定可能なスケールダウン動作をサポート - AWS
Amazon EMR クラスターで、自動的にノードを追加 (スケールアウト) および終了 (スケールイン) するようポリシーを設定できるようになりました。Amazon EMR はプログラムで Apache Spark や Apache Hive などのアプリケーションをスケールアウトし、追加のノードを利用してパフォーマンスを向上させたり、クラスターのノード数をスケールインして、使用率が低いときにコストを節約したりできます。クラスターは、YARN 使用状況メトリクスを含めて、Amazon EMR で提供される Amazon CloudWatch メトリクスに基づいてスケールすることができます。 Amazon EMR のスケールダウン動作が設定可能になりました。Amazon EMR はリリース 5.1.0 から、タスクの完了にかかわらず、Amazon EC2 請求のインスタンス時間に近づくとク
Submitting User Applications with spark-submit | Amazon Web Services
AWS Big Data Blog Submitting User Applications with spark-submit Francisco Oliveira is a consultant with AWS Professional Services Customers starting their big data journey often ask for guidelines on how to submit user applications to Spark running on Amazon EMR. For example, customers ask for guidelines on how to size memory and compute resources available to their applications and the best reso
Building and Deploying Custom Applications with Apache Bigtop and Amazon EMR | Amazon Web Services
AWS Big Data Blog Building and Deploying Custom Applications with Apache Bigtop and Amazon EMR When you launch a cluster, Amazon EMR lets you choose applications that will run on your cluster. But what if you want to deploy your own custom application? This post shows you how to build a custom application for EMR for Apache Bigtop-based releases 4.x and greater. EMR nodes are based on the Amazon L
Amazon EMR 5.0.0 – Major App Updates, UI Improvements, Better Debugging, and More | Amazon Web Services
AWS News Blog Amazon EMR 5.0.0 – Major App Updates, UI Improvements, Better Debugging, and More The Amazon EMR team has been cranking out new releases at a fast and furious pace! Here’s a quick recap of this year’s launches: EMR 4.7.0 – Updates to Apache Tez, Apache Phoenix, Presto, HBase, and Mahout (June). EMR 4.6.0 – HBase for realtime access to massive datasets (April). EMR 4.5.0 – Updates to
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - paulhoule/infovore: RDF-Centric Map/Reduce Framework and Freebase data conversion tool