第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み | gihyo.jp
はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co
テキストファイル入力のメモ - 鯨飲馬食コード
私はRubyをテキストファイルを一行ずつ入力し、処理して出力するという用途でよく使う。その時のメモ。 よく使うのはIOクラスでファイルを読み込む方法。 #!/usr/bin/ruby #IO.rb in_file = ARGV.shift IO.foreach(in_file) do |line| if line =~ /^http\:\/\/d\.hatena\.ne\.jp\/(.+?)\// id = $1 puts id end end この例では"http://d.hatena.ne.jp/id/"からidを抜き出して出力する。urlset.txtにURLが一行ずつ書かれているとしてこう使う $ ruby IO.rb urlset.txt 次は標準入力を使う方法。 #!/usr/bin/ruby #stdin.rb $stdin.each_line do |line| if li
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
RubyでHadoop Streaming[2/2] - 森薫の日記
Hadoop, Ruby | 00:43 | d:id:kaorumori:20090202:1233509351の続きです。Rubyのコードが長くなってしまいました。文字数をカウントするMapReducemap.rb #!/usr/bin/env ruby ARGF.each do |line| line.chomp! words = line.split(/:/) words.each do |word| unless word.empty? printf("%s\t1\n", word) end end end reduce.rb #!/usr/bin/env ruby h = Hash.new ARGF.each do |line| line.chomp! array = line.split(/\t/) key = array[0] value = array[1] if h.k
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - fujibee/hadoop-papyrus: Hadoop MapReduce DSL framework by Ruby. Changed from hadoop-rubydsl.
HugeDomains.com
