blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術：CodeZine
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。これまでの連載Hadoop、hBaseで構築する大規模分散データ処理システムHadoopのインストールとサンプルプログラムの実行複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思われるもの
Amazon EC2/S3を使ってみた - 5.S3をファイルシステムとして扱う - 元RX-7乗りの適当な日々
さて、なんだかすっかりシリーズ化してきてしまいました。 今日は、Amazon EC2からS3をファイルシステムとしてマウントする方法を紹介します。 Amazon EC2ではインスタンスを停止させてしまうと、保存したディスクの内容が失われてしまうことは先日のエントリ(d:id:rx7:20080425:p3)で書いた通りで、一般的にはS3といったストレージに必要なデータを運用で保存させる必要が出てきます。 で、世には色々とS3へのバックアップツールがあり、以下のページのリストが参考になりますが、今は"S3Sync"あたりがメジャーなところでしょうか。 s3sync.rb is written in Ruby as a sort of rsync clone to replace the perl script s3sync which is now abandonware. Given th
はじめてのAmazon EC2&S3 〜これからの新サービスの公開の形〜：第2回 Amazon S3をバックアップストレージとして使おう｜gihyo.jp … 技術評論社
Amazon S3をバックアップストレージとして使おう S3は、その信頼性の高さからバックアップ用のストレージとして最適なサービスです。また、S3は各種言語用のライブラリがそろっているので、自分で簡単にアプリケーションを作ることができます。 そこで今回は、Rubyを使って簡単なバックアップアプリケーションを作ってみましょう。 なお、各種言語用のライブラリの情報もAWSトップページから入手できます。 Rubyライブラリaws-s3の導入 RubyからS3を操作するライブラリは複数用意されていますが、今回は「aws-s3」を使ってみます。 aws-s3はRubyGemsで提供されていますので、gemコマンドでインストールします。 # gem install aws-s3 バケット一覧の取得 まずは練習として、バケット一覧を取得するコードを書いてみます（リスト1）。AWS::S3::Base
Amazon Web Services Developer Community : Using Amazon S3, EC2, SQS, Lucene, and Ruby for Web Spidering
Robert Dempsey guides you through the steps of building a web spidering application using Amazon EC2, Amazon SQS, and Amazon S3. AWS Products Used: By Robert Dempsey of Atlantic Dominion Solutions, LLC Each Amazon Web Services (AWS) product is, in and of itself, very powerful. By combining them, you can produce true enterprise-class web applications. This article guides you through building on
MOONGIFT: ? Amazon S3クローンを作る「Park Place」:オープンソースを毎日紹介
Amazon S3は前々から少しずつ触っていたのだが、これはソフトウェアよりもプログラムから触った方が楽しいかも知れない。簡単にアップロードでき、メタデータやコンテンツタイプを自分で追加でき、さらにアクセス権限も動的に設定できる。 非常にユニークで面白いサービスではあるのだが、一つ欠点がある。それは開発中もAmazon S3を使わねばならず、そのために余計なコスト（恐らく低コストだが）が発生したり、インターネットに接続されている必要性が生じる。それではいつでもどこでも開発というわけにはいかない。そこでこれだ。 今回紹介するオープンソース・ソフトウェアはPark Place、Amazon S3クローンだ。 Park PlaceはRubyで作られたソフトウェアで、Mongrelを使ったHTTPサーバを利用してAmazon S3の真似をする。SOAPインタフェースが利用できるようになっている。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS::S3 - Ruby Library for Amazon Simple Storage Service (S3)
Google Code Archive - Long-term storage for Google Code Project Hosting.
連載：はじめてのAmazon EC2&S3 〜これからの新サービスの公開の形〜｜gihyo.jp … 技術評論社
http://news.tokyo.wakhok.ac.jp/x/modules/tinyd1/content/newtech2007/Amazon_S3_EC2-2/siframes.html