第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み | gihyo.jp
はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co
Ruby/Amazonライブラリ
URL:http://www.caliban.org/ruby/ruby-amazon.shtml ちょっとAWSを使うプログラムを書こうと思ったので、準備としてRuby/Amazonライブラリを試してみた。 Ruby/Amazonのインストール ライブラリのアーカイブをダウンロード アーカイブを解凍 解凍してできたディレクトリにsetup.rbがあるので、それを使用してインストール % ruby setup.rb config % ruby setup.rb setup % ruby setup.rb install ISBN/ASINで検索 ソースコード #! ruby -Ku require ‘amazon/search’ include Amazon::Search DEVTOKEN = ”****” ASSOCIATEID = “ukstudio0c-22” request =
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
