Hadoop on EC2 - A Primer
As more and more companies discover the power of Hadoop and how it solves complex analytical problems it seems that there is a growing interest to quickly prototype new solutions - possibly on short lived or "throw away" cluster setups. Amazon's EC2 provides an ideal platform for such prototyping and there are a lot of great resources on how this can be done. I would like to mention "Tracking Tren
Deploying a Hadoop cluster on EC2/UEC with Puppet and Ubuntu Maverick
A Hadoop Cluster running on EC2/UEC deployed by puppet on Ubuntu Maverick. How it works The Cloud Conductor is located outside the AWS infrastructure as it needs AWS credentials to start new instances. The Puppet Master runs in EC2 and uses S3 to check which clients it should accept. The Hadoop Namenode, Jobtracker and Worker are also running in EC2. The Puppet Master automatically configures them
CentOS 5.5(x86_64)のEBSベースAMIをスクラッチからサクっと作る - so what
ap-southeast-1でAMIを作成。S3へのイメージのアップロードは不要。 インストールするパッケージは4.のスクリプトのyumコマンドで調整（curlは必須） 1. RightScaleのCentOS AMI(ami-21f38c73)のインスタンスを立ち上げる 2. EBS Volumeを作成してインスタンスにアタッチ(/dev/sdf) 3. インスタンスにログインして以下のスクリプトを作成・実行 #!/bin/bash IMG_DEV=/dev/sdf MNT_DIR=fs-centos-5.5-x86_84-core AMI_NAME=centos-5.5-x86_84-core cd /mnt mke2fs -F -j ${IMG_DEV} mkdir ${MNT_DIR} mount ${IMG_DEV} ${MNT_DIR} mkdir ${MNT_DIR}/dev
ELBのスケールアウトの検証 - so what
下記のELBのスケールアウトについて、実際に検証してみた。 サーバ構成はこんな感じ。 クライアント×４は以下のスクリプトでサーバに負荷をかける。 export HOST=XXX.ap-southeast-1.elb.amazonaws.com while true do date dig $HOST httperf --hog --server=$HOST --num-conns=50000 --rate=500 --timeout=5 --uri=/__XXX__ echo '-----' done ループすることでDNSラウンドロビンが聞くようにする。 で、結果。 最初はELBのIPは1つだけ。 ;; ANSWER SECTION: XXX.ap-southeast-1.elb.amazonaws.com. 54 IN A XXX.XXX.XXX.112 5分ぐらい経つと3つのIPアド
ELBのスケールアウト - so what
少し前に「ELBの帯域がボトルネックになるのでは？」という主旨の記事を書いたが、同じ考えを持っている人もいるようだ。 Daily AWS Wtf - Elastic Load Balancer and EC2 instance bandwidth この記事の結論としては「古くて醜いDNSラウンドロビン（the old and ugly DNS Round Robin）を使うしかない」ということだった。 帯域増やすにはAWSの中の人に相談するしかないのかな。。。と頭を抱えながらGoogle先生に教えを請うていたところ、また別の記事が見つかった。 Benchmarking Load Balancers in the Cloud « RightScale Blog リンク先のホワイトペーパーによると、 まず、500rps×n台の負荷をかけた このとき、DNSはELBへの問い合わせに対して3つのI
AmazonEC2のEBSインスタンスを起動/ログイン/停止するスクリプト - urekatのスカンク日記３
たまにしか使わないEBSインスタンスを便利に使うためのスクリプト。 http://aws.amazon.com/console/ でhttp://alestic.com/の > Ubuntu 10.04 Lucid Canonical, ubuntu@ EBS boot ami-714ba518 を作って使っています。 できること セキュリティグループの設定 インスタンスIDを指定してEBSインスタンスをstart 起動のたびに変わるホスト名を自動的に調べてsshでログイン インスタンスのstop # ruby aws_ec2.rb --update_fw # ruby aws_ec2.rb --instance i-XXXXXXXX --start # ruby aws_ec2.rb --instance i-XXXXXXXX --login # ruby aws_ec2.rb --in
Amazon EBSのスナップショット(バックアップ)を取得しつつ世代管理も行うスクリプト - 元RX-7乗りの適当な日々
# タイトル長い。 Amazon EBS(Elastic Block Store)では、スナップショット機能と呼ばれる、ボリューム(ディスク)を瞬時にバックアップする機能をAPI経由で簡単に使うことができます。 参考 最近発表されたストレージサービスAmazon EBS(Elastic Block Store)をEC2から利用する - 元RX-7乗りの適当な日々 Amazon EBSを活用してデータをバックアップしてみよう ～Amazon EC2/S3環境構築のすべて～ (1/6)：CodeZine（コードジン） そんな便利機能なEBSスナップショット君ですが、そのバックアップデータの保存先はAmazon S3ということで、S3の利用容量無制限！という素晴らしい恩恵を受けちゃっていて、当然、バックアップデータの世代管理は使い手自身に委ねられています。 ということで、指定したEBSボリューム
HadoopのファイルシステムとしてS3を利用する
EC2でHadoopを使う場合、インスタンスを停止するとデータがなくなる（EBSを使うという手もありますが）関係でデータはS3に置く場合が多いと思います。 その場合、S3からEC2上のHDFSに読み込んでから処理をして最後にS3に書き出すということも考えられますが、やはりS3上のファイルを直接Hadoopのジョブ入出力として使うのが効率が良い。（更に言うと、複数のジョブを実行する時の中間のデータを保存するのにはHDFSを使った方が速い） そもそもHadoopはファイルシステムの部分を抽象化していて、HDFSもその実装の一つに過ぎません。 AmazonS3 – Hadoop Wikiにもありますが、S3を使うための実装には2種類あるので注意。 S3 Native FileSystem (URI scheme: s3n) 普通にS3上のファイルを読み書きするネイティブファイルシステム。H
Ubuntu 9.10 (Karmic Koala) Daily Build
Select an image Ubuntu is distributed on two types of images described below. UEC image The Ubuntu Enterprise Cloud image can be run on your personal Ubuntu Enterprise Cloud, or modified, rebundled and uploaded to Amazon EC2. For further instruction on setting up a personal Ubuntu Enterprise Cloud, see Getting Started with Ubuntu Enterprise Cloud There are two images available, each for a differen
EC2上での分散処理(Hadoop)をローカルから実行 - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年12月23日20:37 Hadoop EC2上での分散処理(Hadoop)をローカルから実行 以前の記事で、Cloudera を使うことで hadoop-ec2 というコマンドが使えるようになって、Hadoop クラスタを起動したり、クラスタの中身を見たりできるということを紹介しました。今日は hadoop-ec2 で利用できるその他のコマンドを紹介します〜。 ・ master 上でコマンドを実行したいとき hadoop-ec2 exec [cluster] "実行したいコマンド" このように指定すると "実行したいコマンド" が master 上で実行されます。このコマンドとして Hadoop の実行コマンドを渡してあげれば、ローカルの環境から EC2 上で分散処理を実行することが可能です。 ・ master 上にファイルをコピーしたいとき hadoop-ec2 push [c
Cloudera Distribution for Hadoopのインストール方法 - moratorium
Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、１年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。 まずはEC2で２インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。 次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例：ノードのコア数・メモリ容量・台数など)から
Amazon EC2 でのインスタンス起動・停止・確認方法 - hyoromoのブログ
ホント今更ですが、Amazon EC2 少し触ってみました。 あまり情報収集もしていなかった所なので、中途半端な知識しかないので触っていくうちに覚えられたら良いなぁと。 開始方法については以下をメインに参考にしました。ほとんど CodeZine で書かれてあることの繰り返しになると思います。 Amazon EC2を動かしてみよう〜Amazon EC2/S3環境構築のすべて〜 証明書を取得 EC2 を動かすためには証明書が必要らしいので、早速 Amazon Web Services から取ってきます。 「AWS」ページ上から [Your Account] - [Access Identifiers] をクリックします。 「Access Identifiers」ページに遷移するので、下の「X.509 Certificate」枠にある [Create New] をクリックします。 「Create
flashcast：フリーで働くITエンジニア集団のブログ: Amazon EC2お役立ちツールs3sync.rb
稼働率99.95%以上というSLAを引っさげて10/23に正式版になったAmazon EC2、久しぶりにいじってみました。β版から使っていたカスタムAMIも問題なく動きました。 EC2を使っていると、ローカルで作成したものを起動中のサーバにアップしてブラウザから確認、というようなことをしたいときがありますが、こんなときに便利なのがs3sync.rb。 1.起動中のサーバにインストール [root@domU-12-31-39-00-A1-D6 ~]# wget http://s3.amazonaws.com/ServEdge_pub/s3sync/s3sync.tar.gz –20:58:13– http://s3.amazonaws.com/ServEdge_pub/s3sync/s3sync.tar.gz => `s3sync.tar.gz’ Resolving s3.ama
AmazonS3 - HADOOP2 - Apache Software Foundation
S3 Support in Apache Hadoop Apache Hadoop ships with a connector to S3 called "S3A", with the url prefix "s3a:"; its previous connectors "s3", and "s3n" are deprecated and/or deleted from recent Hadoop versions. Consult the Latest Hadoop documentation for the specifics on using any the S3A connector. For Hadoop 2.x releases, the latest troubleshooting documentation. For Hadoop 3.x releases, the la
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
Amazon Elastic MapReduceを使ってみた - moratorium
Amazon Elastic MapReduceを使ってみた 2009-04-03 (Fri) 3:06 Amazon EC2 連日のEC2ネタです。本日、AmazonからElastic MapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。 Amazon Elastic MapReduce Amazon ElasticMapReduce 紹介ビデオ With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer by techcrunch.com Elastic MapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
Amazon EC2とGoogle App Engineの比較（それぞれの特徴をまとめてみる） - うしねずみの技術メモ
Amazon EC2とGoogle App Engineの比較（それぞれの特徴をまとめてみる） 2009.08.03 cloud amazon, cloud, ec2, google, google app engine, 比較 どうも、うしねずみです。 最近クラウドサービスをちょこちょこ触っています。Amazon EC2とGoogle App Engine（GAE）を両方触ってみたので、それぞれの特徴をまとめてみようかなと思います。 Amazon EC2 【長所】：自由度が高い Amazon EC2の特長は何と言ってもその自由度の高さです。EC2ではユーザは「使いたいインスタンスのスペック」、「簡単なセキュリティポリシー」、「使いたいインスタンスの数」を選んで、インスタンスを起動します。例えば、OSがWindows Server 2003、CPUの性能はSmall（SmallとかHigh
Amazon EC2料金早見表
☆☆☆★★ (2) AMD (13) Android (5) Asteria (11) AWS (7) Azure (1) boto (2) botocore (1) bottle (2) Camera (5) Cassandra (7) CentOS (1) Chromium (1) Cloud (43) CrystalArmor (1) css (7) DIGNO (1) EC2 (10) ESXi (5) Firefox (1) Fluent (1) GAE/J (1) github (1) Go (1) Google (16) Google+ (2) Hadoop (2) Hardware (29) HBase (13) Intel (1) iSCSI (1) Java (6) JavaScript (10) json (1) KVM (1) Linux (37) Nagios (
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Re: Using Ganglia with hadoop 0.19.0 on Amazon EC2
カスタムのhadoop-ec2イメージを作る