第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み | gihyo.jp

はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「⁠処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co

[kana321]

RubyとHadoopで分散処理　Hadoop Streamingの仕組み

[watanata2000]

Hadoop + Ruby 分散処理

[shiumachi]

"Hadoop Streamingは非常に手軽ですが，オーバーヘッドがありJavaで記述する場合と比べると多少パフォーマンスが落ちるようなので注意"

[frsh_mt]

なんか見れないから後で

[kasahi]

Hadoop Streamingを利用、使用した言語はRuby、EC2でHadoopクラスタを構築（インスタンスは30台～50台程度）、HDFSとしてS3を利用（s3fs）

[udzura]

Streamingのオーバーヘッドは気になる、かといって生のJavaは好きくない、JRubyあるいはScalaから利用するオーバヘッドとどっちがでかいのかしら

[mooz]

MapReduce で分散処理。 Java で実装された Hadoop 。 Ruby から使うには Hadoop Streaming を。

[tinsep19]

DB処理の中でも特にGROUP BYする処理が多く，これが猛烈に遅い > 分析目的としては致命的だな。これ

[ka-wara]

クックパッドで大規模データ解析を担当する著者のHadoop紹介記事／『最近ではYahoo!やはてななど，様々な企業でも利用』／恥かしいがメモ ハドゥープ