AmazonEC2 - HADOOP2 - Apache Software Foundation
Running Hadoop on Amazon EC2 Amazon EC2 (Elastic Compute Cloud) is a computing service. One allocates a set of hosts, and runs one's application on them, then, when done, de-allocates the hosts. Billing is hourly per host. Thus EC2 permits one to deploy Hadoop on a cluster without having to own and operate that cluster, but rather renting it on an hourly basis. If you run Hadoop on EC2 you might c
ec2でhadoopしてみたよ - id:lopnor
というかhttp://codezine.jp/article/detail/2841をまんまコピペしただけなんですけどね。 ec2のアカウント持ってるし使いまくってるよー、という前提で。 飛ばしながら読んで実行したらこけて気づいたんだけど、 ec2-add-keypair gsg-keypairはgsg-keypairという名前決め打ちなのでちゃんとやりましょう。 EC2_KEYDIR=`dirname "$EC2_PRIVATE_KEY"`ってなってるのでそこにid_rsa-gsg-keypairという名前で保存 ./hadoop-ec2 launch-cluster test-cluster 2とするとちゃんと立ち上がった ./hadoop-ec2 login test-clusterでログイン。 おれjava詳しくないんでよくわかんなかったんだけど 記事に書いてある jar hado
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
hadoop-ec2でアクセス解析してみたよ！
前回（http://d.hatena.ne.jp/lopnor/20080831/1220183688）サンプルプログラムを動かすところまで行きましたけど、今回は例のid:naoyaのhadoop streamingでアクセス解析（http://d.hatena.ne.jp/naoya/20080513/1210684438）するのをやってみます。というかなんとかたどり着いたのでまとめを書きます。 *ec2の使い方 id:rx7さんがとても丁寧に説明されている資料（http://d.hatena.ne.jp/rx7/20080528/p1）があるので、そちらを読めば完璧だと思います。僕もこれでec2が使えるようになりました。 *hadoop-ec2の使い方 https://codezine.jp/article/detail/2841がイントロダクション。http://d.hatena.n
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
