blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術：CodeZine
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。これまでの連載Hadoop、hBaseで構築する大規模分散データ処理システムHadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思われるもの
Amazon EC2/S3を使ってみた - 5.S3をファイルシステムとして扱う - 元RX-7乗りの適当な日々
さて、なんだかすっかりシリーズ化してきてしまいました。 今日は、Amazon EC2からS3をファイルシステムとしてマウントする方法を紹介します。 Amazon EC2ではインスタンスを停止させてしまうと、保存したディスクの内容が失われてしまうことは先日のエントリ(d:id:rx7:20080425:p3)で書いた通りで、一般的にはS3といったストレージに必要なデータを運用で保存させる必要が出てきます。 で、世には色々とS3へのバックアップツールがあり、以下のページのリストが参考になりますが、今は"S3Sync"あたりがメジャーなところでしょうか。 s3sync.rb is written in Ruby as a sort of rsync clone to replace the perl script s3sync which is now abandonware. Given th
Amazon Web Services Developer Community : Using Amazon S3, EC2, SQS, Lucene, and Ruby for Web Spidering
Robert Dempsey guides you through the steps of building a web spidering application using Amazon EC2, Amazon SQS, and Amazon S3. AWS Products Used: By Robert Dempsey of Atlantic Dominion Solutions, LLC Each Amazon Web Services (AWS) product is, in and of itself, very powerful. By combining them, you can produce true enterprise-class web applications. This article guides you through building on
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
連載：はじめてのAmazon EC2&S3 〜これからの新サービスの公開の形〜｜gihyo.jp … 技術評論社
http://news.tokyo.wakhok.ac.jp/x/modules/tinyd1/content/newtech2007/Amazon_S3_EC2-2/siframes.html
